众所周知,mahout是基于hadoop分布式系统的,要想看懂mahout的源码,首先得明白mahout是如何使用hadoop的!
首先,在我的<<hadoop运行原理详解>>一篇中,详细介绍了hadoop的运行机制,这里就不多说了!下面我就以kmeans聚类算法为例,讲讲mahout如何利用hadoop实现数据挖掘算法并行化.如以下类图所示,
该图描述了整个mahout实现kmeans算法的架构图,首先kmeanscluster继承cluster,在kmeanscluster中有几个比较重要的方法,首先clusterpoints()是实现kmeans聚类算法的方法,而其中调用了runkmeansiteration()方法,该方法是单次聚类迭代方法.
尤其可见,这块算法实现和普通kmeans算法没有太大差别!在mahout针对每个算法都有一个driver,这个东西是干什么的啊?
我们先看看kmeansdriver源码,kmeansdriver继承了abstractjob.我们知道hadoop上的任务都是以job的形式启动的!我们要使用某个算法进行一项数据挖掘工作,因此就要启动一个job.因此,kmeansdriver就是创建一个job,然后对job的属性进行配置,然后运行该job.
上图反映了kmeansdriver工作原理.