K-Means 算法详解

K-Means 算法详解

K-Means 是一种流行的聚类算法，用于将数据划分为预定数量的簇（clusters）。

K-Means 算法的基本步骤

1. 初始化

• 随机选择 $k$ 个数据点作为初始质心（centroids）。

2. 分配数据点

• 将每个数据点分配到最近的质心，形成 $k$ 个簇。

3. 更新质心

• 对于每个簇，计算所有数据点的均值，并将该均值作为新的质心。

4. 迭代

• 重复步骤 2 和 3 直到满足停止条件（如质心不再显著变化或达到最大迭代次数）。

数学原理

1. 距离度量

• 通常使用欧氏距离来度量数据点与质心之间的距离：

  $$\text{Distance}=\sqrt{\sum _{i=1}^n(x_i?y_i{)}^2}$$

  其中 $x_i$ 和 $y_i$ 是两点在第 $i$ 维的坐标。

2. 目标函数

• K-Means 的目标是最小化所有簇内数据点与其质心的距离之和：

  $$J=\sum _{j=1}^k\sum _{i=1}^{n_j}||x_i^{(j)}?c_j|{|}^2$$

  其中 $n_j$ 是第 $j$ 个簇中的数据点数，$x_i^{(j)}$ 是簇 $j$ 中的第 $i$ 个数据点，$c_j$ 是簇 $j$ 的质心。

代码

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# 生成模拟数据
X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)

# 创建KMeans实例
kmeans = KMeans(n_clusters=4)

# 训练模型
kmeans.fit(X)

# 预测簇标签
y_kmeans = kmeans.predict(X)

# 可视化聚类结果
plt.scatter(X[:, 0], X[:, 1], c=y_kmeans, s=50, cmap='viridis')
centers = kmeans.cluster_centers_
plt.scatter(centers[:, 0], centers[:, 1], c='black', s=200, alpha=0.5)
plt.title("K-Means Clustering")
plt.show()

在这个示例中，我们首先生成了一组模拟数据，然后创建了一个KMeans实例并指定簇的数量。接着，我们训练了模型并预测了每个数据点的簇标签。最后，我们使用Matplotlib可视化了聚类

K-Means 与 C-Means 的区别

K-Means

• 硬聚类方法，每个数据点只属于一个簇。
• 使用欧氏距离作为距离度量。
• 更简单和快速。

C-Means（模糊C-Means）

• 软聚类方法，每个数据点以一定程度属于所有簇。
• 数据点对簇的隶属度是模糊的，由隶属函数给出。
• 更适用于簇的边界不清晰的情况。

C-Means 为数据点提供了更多的灵活性，允许它们以不同程度属于多个簇，这在一些应用中可能更为合适。