一、基本k均值算法
1 根據使用者指定的參數K,首先選擇K個初始化質心;
2 然後每個點指派到最近的質心,指派到一個質心的點形成一個簇。
3 更新每個簇的質心
4重複步驟2、3,直到簇不在發生變化。
僞代碼描述如下:
選擇K個點作為初始質心
repeat
将每個質心指派到最近的質心,形成K個簇
重新計算每個簇的質心
until 質心不在發生變化
二、Orange中K-means執行個體
下面的例子顯示了該算法的計算過程:
import random
from matplotlib import pyplot as plt
import Orange
def plot_scatter(table, km, attx, atty, filename="kmeans-scatter", title=None):
#plot a data scatter plot with the position of centeroids
plt.rcParams.update({'font.size': 8, 'figure.figsize': [4,3]})
x = [float(d[attx]) for d in table]
y = [float(d[atty]) for d in table]
colors = ["c", "w", "b"]
cs = "".join([colors[c] for c in km.clusters])
plt.scatter(x, y, c=cs, s=10)
xc = [float(d[attx]) for d in km.centroids]
yc = [float(d[atty]) for d in km.centroids]
plt.scatter(xc, yc, marker="x", c="k", s=200)
plt.xlabel(attx)
plt.ylabel(atty)
if title:
plt.title(title)
plt.savefig("%s-%03d.png" % (filename, km.iteration))
plt.close()
def in_callback(km):
print "Iteration: %d, changes: %d, score: %8.6f" % (km.iteration, km.nchanges, km.score)
plot_scatter(table, km, "petal width", "petal length", title="Iteration %d" % km.iteration)
table = Orange.data.Table("iris")
random.seed(42)
km = Orange.clustering.kmeans.Clustering(table, 3, minscorechange=0, maxiters=10, inner_callback=in_callback)
運作結果如下:
使用圖形化的方式配置如下:
對Satterplot的配置如下:
Satterplot的圖形化結果如下:
三、參考資料
資料挖掘導論 http://book.douban.com/subject/5377669/