fighting-one-piece
fighting_2013 · 共 21 篇文章
Spark学习笔记-安装部署与运行实例
首先解压scala,本次选用版本scala-2.11.1 [hadoop@centos software]$ tar -xzvf scala-2.11.1.tgz [hadoop@centos software]$ su - [root@centos ~]# vi /etc/profile 添加如下内容: SCALA_HOME=/home/hadoop/software/scala-2.11.1 PATH=$SCALA_HOME/bin EXPORT SCALA_HOME [root@centos ~]# source /etc/profile [root@centos ~]# scala …
2014-06-13 17:11 · SPARK · 评论(0)
数据挖掘笔记-聚类-Canopy-2
Canopy并行化处理在Mahout里面有很好的实现,网上有很多人都做过相关的分析,有的写的很详细,本来只想看看Mahout Canopy源码就好了,但还是觉得自己记录下也好。我看的是mahout-distribution-0.9版本。 首先先看下CanopyDriver类: run(String[] args)方法里面是一些参数的设置。 public static void run(Configuration conf, Path input, Path output, DistanceMeasure measure, double t1, double t2, double t3, do…
2014-06-13 12:45 · DATA_MINING · 评论(0)
数据挖掘笔记-聚类-Canopy-1
Canopy聚类算法是一个将对象分组到类的简单、快速、精确地方法。每个对象用多维特征空间里的一个点来表示。这个算法使用一个快速近似距离度量和两个距离阈值 T1>T2来处理。基本的算法是,从一个点集合开始并且随机删除一个,创建一个包含这个点的Canopy,并在剩余的点集合上迭代。对于每个点,如果它的距离第一个点的距离小于T1,然后这个点就加入这个聚集中。除此之外,如果这个距离<T2,然后将这个点从这个集合中删除。这样非常靠近原点的点将避免所有的未来处理,不可以再做其它Canopy的中心。这个算法循环到初始集合为空为止,聚集一个集合的Canopies,每个可以包含一个或者多个点。每个点可以包含在…
2014-06-12 18:02 · DATA_MINING · 评论(0)
数据挖掘笔记-关联规则-FPGrowth-2
前面是单机版的实现,现在通过MapReduce来实现FPGrowth算法,主要用了两个MR,具体过程如下: 1、第一个MR扫描所有数据集统计数据集中的频繁一项集,即每个项的出现次数。 2、读取第一个MR产生的文件,对频繁一项集排序,然后上传到HDFS上。 3、第二个MR扫描所有数据集,并根据第二步产生的排序好的频繁一项集来得出频繁项集。 第二个MR的Map阶段过程:首先根据排好序的频繁一项集将事务数据排好序,然后遍历排好序的事务数据,以频繁项为键,事务数据为值传递给Reduce阶段。 第二个MR的Reduce阶段过程:Reduce节点接收到从Map节点过来的数据,遍历这个频繁项对应的事务数据…
2014-06-05 17:31 · DATA_MINING · 评论(0)
数据挖掘笔记-关联规则-FPGrowth-1
由于Apriori算法需要多次扫描事务数据库,需要生成候选项集,大大增加了时间与空间的代价,FP Growth算法利用了巧妙的数据结构,大大降低了Aproir挖掘算法的代价,它不需要不断得生成候选项目队列和不断得扫描整个数据库进行比对。为了达到这样的效果,它采用了一种简洁的数据结构,叫做frequent-pattern tree(频繁模式树)。FP-growth算法比Apriori算法快一个数量级,在空间复杂度方面也比Apriori也有数量级级别的优化。对于海量数据,FP-growth的时空复杂度仍然很高,可以采用的改进方法包括数据库划分,数据采样等等。 FPGrowth算法的介绍与实例说明…
2014-06-02 16:55 · DATA_MINING · 评论(0)
数据挖掘笔记-关联规则-Apriori-1
今天看了一下关联规则分析中的Apriori算法,先了解下基本概念: 关联规则分析用于发现隐藏在大型数据集中的有意义的联系。在交易数据、关系数据或其他信息载体中,查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。 •关联规则挖掘形式化定义: •原始数据描述 设I ={i1, i2,…,im}是所有项(item)的集合,若干项的集合,称为项集(Item Sets)。 记T为交易(transaction,事务) t的集合,其中,交易t是项的集合,并且t⊆I。 设A、C分别是一个I中项的集合,如果A⊆T且C⊆T,且A∩C=Φ那么称交易T包含A ∪ C。 •目标数据描述 所有形如A⇒…
2014-05-29 17:17 · DATA_MINING · 评论(0)
数据挖掘笔记-分类-决策树-5
上篇文章里面虽然结合hadoop用到mapreduce去计算属性的增益率,但是发现整个程序似乎也并没有做到并行化处理。后面又看了一些网上的资料,自己又想了想,然后又重新实现了一下决策树,大体思路如下: 1、将一个大数据集文件拆分成N个小数据集文件,对数据做好预处理工作,上传到HDFS 2、计算HDFS上小数据集文件的最佳分割属性与分割点 3、汇总N个小数据集文件的最佳划分,投票选出最佳划分 4、N个小数据集的节点根据最终的最佳划分,分割自己节点上的数据,上传到HDFS,跳转到第二步 下面是具体的实现代码: public class DecisionTreeSprintBJob extends…
2014-05-28 16:38 · DATA_MINING · 评论(0)
数据挖掘笔记-分类-决策树-4
之前写的代码都是单机上跑的,发现现在很流行hadoop,所以又试着用hadoop mapreduce来处理下决策树的创建。因为hadoop接触的也不多,所以写的不好,勿怪。 看了一些mahout在处理决策树和随机森林的过程,大体过程是Job只有一个Mapper处理,在map方法里面做数据的转换收集工作,然后在cleanup方法里面去做决策树的创建过程。然后将决策树序列化到HDFS上面,分类样本数据集的时候,在从HDFS上面取回决策树结构。大体来说,mahout决策树的构建过程好像并没有结合分布式计算,因为我也并没有仔仔细细的去研读mahout里面的源码,所以可能是我没发现。下面是我实现的一个…
2014-05-28 16:13 · DATA_MINING · 评论(0)
数据挖掘笔记-分类-决策树-3
了解了一些决策树的构建算法后,现在学习下随机森林。还是先上一些基本概念: 随机森林是一种比较新的机器学习模型。顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一类被选择最多,就预测这个样本为那一类,即选举投票。 优点: a. 在数据集上表现良好,两个随机性的引入,使得随机森林不容易陷入过拟合 b. 在当前的很多数据集上,相对其他算法有着很大的优势,两个随机性的引入,使得随机森林具有很好的抗噪声…
2014-05-28 15:32 · DATA_MINING · 评论(0)
数据挖掘笔记-分类-决策树-2
接着上面说下决策树的一些其他算法:SLIQ、SPRINT、CART。这些算法则是根据Gini指标来计算的。 SLIQ SLIQ(Supervised Learning In Quest)利用三中数据结构来构造树,分别是属性表、类表和类直方图。 SLIQ算法在建树阶段,对连续属性采取预先排序技术与广度优先相结合的策略生成树,对离散属性采取快速求子集算法确定划分条件。 具体步骤如下: step1:建立类表和各个属性表,并且进行预先排序,即对每个连续属性的属性表进行独立的排序,以避免在每个节点上都要给连续属性值重新排序; step2:如果每个叶子节点中的样本都能归为一类,则算法停止;否则转step…
2014-05-28 14:51 · DATA_MINING · 评论(0)
数据挖掘笔记-分类-决策树-1
之前一直做的都是 J2EE ,最近开始接触数据挖掘,特做笔记记录一下。第一次写东西,写的不好,望大家谅解。先上一些基础概念,大致了解下决策树这个东西: 决策树(decision tree)是一个树结构(可以是二叉树或非二叉树)。其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果。 •决策树的构造: •决策树的构造就是通过属性选择来确定拓扑结构。 •构造决策树的关键步骤是分裂属性。所谓分裂属…
2014-05-28 14:21 · DATA_MINING · 评论(0)
Python 清除SVN文件
初学Python,为熟悉文件相关操作,写了一个简单且粗糙的清除项目下svn文件功能。 import os import time import stat def clearSVN(destPath): if os.path.isdir(destPath) == False : return; else : destFileName = os.path.basename(destPath) print 'current dir name is %s' %destFileName if str(destFileName).find('svn') == -1 : print '%s is not …
2014-01-03 10:04 · PYTHON · 评论(0)
Python SSH连接
通过paramiko库实现SSH连接功能 import os import paramiko host = '192.168.10.10' port = 22 username = 'hadoop' password = 'hadoop' ssh = paramiko.SSHClient() ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) private_key_file = os.path.expanduser('C:/Program Files/VMware/VMware Share/id_rsa') mykey = p…
2014-01-03 09:58 · PYTHON · 评论(0)
Python 简易抓取界面
初学Python,参考相关资料做了个简易抓取网页界面,主要为了增加对python的熟识度。主要是通过urllib2获取预先指定的地址的页面,通过BeautifulSoup来解析界面元素,找到href标签,并将相关的数据存入数据库,以方便后面取出继续抓取。整个抓取和解析也是基于多线程与队列来控制的。做的比较简单与粗糙,后续深入可以改进。 import DBHelper import CodeHelper import urllib2 from bs4 import BeautifulSoup import threading as thread import Queue import time…
2014-01-03 09:53 · PYTHON · 评论(0)