人工智能5聚类方法.pdf

《人工智能：算法的视角》卷一草稿 第五章 聚类方法 第 5 章 聚类方法 如第 2 章所述，非监督学习的特点是训练数据中只有输入数据，没有输入对应的期望 输出。因此其学习对象是输入数据中隐含的规律，包括仅涉及单一数据的规律（数据作为 一个整体所具有的分布规律）和涉及多个数据相互关系的规律（数据分量之间的关联规则） 这两大类。 本章主要探讨学习数据分布规律的非监督学习方法，通常将此类问题称为聚类 （clustering ）。 5.1 聚类基础 5.1.1 何为聚类？ 聚类，可理解为“聚而类之”，是指如何根据数据之间的相似性，将数据集合分成若干 个子集的问题。聚类结果中，每个子集内的数据应相似，不同子集之间的数据应不相似， 体现了相似数据被聚合在一起的要求。这些相似数据聚合在一起所形成的数据子集通常被 称为簇 （cluster ）。显然，每个簇是从数据中自动发现的具有共同特性的一类数据，聚类结 果则反映了训练数据的分布规律，我们既可直接用数据分组结果来反映这种分布规律（参 见第3 章第3.1 节所述数据点函数表达形式），也可进一步将簇中数据拟合为相应的统计分 布。聚类得到的数据分布规律可直接应用于相应的生产生活问题中以获得经济和社会效益， 也可再应用于机器学习中进行数据的处理、预测、分类等，因此解决聚类问题的方法有着 广泛的应用领域，如数据挖掘、模式识别、图像处理、经济预测、等等。 聚类结果由数据点到簇的归属来决定，其隶属度（membership ）有明确的和模糊的两 种。明确的隶属度取值为1 或0，表示是否隶属。模糊的隶属度取值在区间[0，1]之间，表 示隶属的程度，与上一章第4.8 节所述模糊集合中的模糊概念相同。当聚类中采用明确的隶 属度时，被称为硬聚类（hard clustering ）；采用模糊的隶属度时，被称为软聚类（soft clustering ） X C u 或模糊聚类（fuzzy clustering ）。设 表示数据集合， 表示第i 个簇（数据子集）， 表 i ij 示第i 个数据归属第j 个簇的隶属度，数据总个数为N ，簇的总数为K ，则硬聚类结果与模 糊聚类结果分别应满足： l 硬聚类：∪K C = X; ∀i,∀j : C ∩ C = φ ,C ≠φ i=1 i i j i K N l 软 （模糊）聚类：∀j : ∑uij = 1; ∀i : ∑uij ≤ N j =1 i=1 无论是硬聚类还是软聚类，最终都需要确定数据到簇的唯一归属。对于硬聚类来说， 这是显而易见的。对于软聚类来说，这还需要经过一个去模糊化的过程，即根据模糊隶属 1 度的大小将数据分配至确定的某个簇，通常是按隶属度最大原则来进行分配。 北京理工大学计算机学院 刘峡壁 《人工智能：算法的视角》卷一草稿 第五章 聚类方法 5.1.2 聚类的基本问题 根据上述概念，可