济南seo网站关键词排名,杭州建设网杨赟,泉州企业网站维护定制,淘宝网站开发用到哪些技术#x1f497;#x1f497;#x1f497;欢迎来到我的博客#xff0c;你将找到有关如何使用技术解决问题的文章#xff0c;也会找到某个技术的学习路线。无论你是何种职业#xff0c;我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章#xff0c;也欢… 欢迎来到我的博客你将找到有关如何使用技术解决问题的文章也会找到某个技术的学习路线。无论你是何种职业我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章也欢迎在文章下方留下你的评论和反馈。我期待着与你分享知识、互相学习和建立一个积极的社区。谢谢你的光临让我们一起踏上这个知识之旅 文章目录 聚类算法基础K均值聚类算法DBSCAN及其派生算法AGNES自底向上聚类算法聚类评估指标示例完整代码CoNLL-2003数据集总结 聚类算法基础
定义及重要性聚类是一种无监督的机器学习方法旨在将数据集划分为若干簇使得同一簇内的数据点相似度高不同簇之间的数据点差异大。聚类在客户分群、图像分割、文本分类和生物信息学等领域有广泛应用。聚类算法的种类 划分式算法如K均值基于数据点之间的距离直接将数据划分为若干簇。密度式算法如DBSCAN根据数据密度分布将密度较高的区域识别为簇。层次式算法如AGNES通过层次结构进行聚类可以生成树状的层次结构。网格式算法将空间划分为网格以网格为单位进行聚类如CLIQUE算法。
K均值聚类算法 概述K均值是一种基于划分的方法。首先选择K个初始质心然后通过迭代优化将每个数据点分配到距离最近的质心更新质心位置直到收敛。其目标是最小化簇内的方差。 工作原理 选择K个初始质心。计算每个数据点与质心的距离将数据点分配到最近的质心所在的簇中。更新每个簇的质心重新计算每个簇的平均值。重复步骤2和3直到质心位置不再变化或达到最大迭代次数。 优缺点K均值在处理大规模数据时效率高但其对初始质心的选择敏感可能陷入局部最优另外K的值需要提前确定。
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
import numpy as np# 生成一些示例数据
X np.random.rand(100, 2)# 初始化K均值模型
kmeans KMeans(n_clusters3, random_state42)
kmeans.fit(X)# 获取聚类结果
labels kmeans.labels_# 可视化结果
plt.scatter(X[:, 0], X[:, 1], clabels)
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s300, cred, markerX)
plt.title(K-Means Clustering)
plt.show()扩展可进一步介绍K均值初始化方法K-means通过优化初始质心选择来提高收敛性和结果质量。 DBSCAN及其派生算法 概述DBSCANDensity-Based Spatial Clustering of Applications with Noise是一种基于密度的聚类算法通过定义邻域半径(eps)和最小样本数(min_samples)来识别簇。密度足够高的区域被识别为簇而密度不足的点则被视为噪声。 工作原理 对于每个点如果在其邻域半径内的点数超过min_samples则将其标记为核心点。将核心点的邻域扩展为一个簇将所有能够通过密度连接的点归入此簇。重复此过程直到所有点都被分配到某个簇或标记为噪声。 优缺点DBSCAN能够识别任意形状的簇适合含有噪声的数据集但对参数eps和min_samples敏感。
from sklearn.cluster import DBSCAN
import matplotlib.pyplot as plt
import numpy as np# 生成一些示例数据
X np.random.rand(100, 2)# 初始化DBSCAN模型
dbscan DBSCAN(eps0.1, min_samples5)
dbscan.fit(X)# 获取聚类结果
labels dbscan.labels_# 可视化结果
plt.scatter(X[:, 0], X[:, 1], clabels)
plt.title(DBSCAN Clustering)
plt.show()派生算法可介绍HDBSCAN基于密度的层次聚类算法它能在不同密度下自动调节适用于密度变化较大的数据集。 AGNES自底向上聚类算法 概述AGNESAgglomerative Nesting是一种层次聚类算法通过自底向上合并每个样本或簇构建树状的层次结构。它不需要提前设定簇的数量。 工作原理 将每个数据点视为一个独立的簇。计算每对簇之间的距离合并最近的两个簇。重复步骤2直到只剩下一个簇或者达到预设的簇数。 连接方法可以采用不同的连接方法包括单连接Single Linkage、全连接Complete Linkage、平均连接Average Linkage和Ward连接。
from scipy.cluster.hierarchy import dendrogram, linkage
import matplotlib.pyplot as plt
import numpy as np# 生成一些示例数据
X np.random.rand(10, 2)# 使用AGNES层次聚类
Z linkage(X, methodward)# 可视化层次聚类的树状图
plt.figure(figsize(10, 5))
dendrogram(Z)
plt.title(AGNES Hierarchical Clustering Dendrogram)
plt.show()扩展还可以介绍如何确定层次聚类的最佳分割点比如通过树状图的“拐点”或使用轮廓系数评估分割效果。 聚类评估指标
常用指标
轮廓系数Silhouette Score衡量簇内一致性和簇间分离度的指标范围为-1到1值越大越好。DBI指数Davies-Bouldin Index计算每个簇的离散性和簇间的相似性值越小聚类效果越好。SSESum of Squared Errors用于K均值聚类衡量簇内方差的总和。
from sklearn.metrics import silhouette_score# 计算轮廓系数
score silhouette_score(X, labels)
print(fSilhouette Score: {score})示例完整代码CoNLL-2003数据集
import pandas as pd
import numpy as np
from sklearn.cluster import KMeans, DBSCAN, AgglomerativeClustering
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics import silhouette_score
from nltk.corpus import conll2003
from nltk import download# 下载 CoNLL-2003 数据集
download(conll2003)# 提取 CoNLL-2003 数据集
def load_conll_data():sentences []for sentence in conll2003.iob_sents():words [word for word, _, _ in sentence]sentences.append( .join(words))return sentences# 特征提取
def extract_features(texts):vectorizer TfidfVectorizer(stop_wordsenglish)return vectorizer.fit_transform(texts)# 聚类评估
def evaluate_clustering(model, X):labels model.labels_ if hasattr(model, labels_) else model.predict(X)return silhouette_score(X, labels)# 加载数据
texts load_conll_data()# 提取特征
X extract_features(texts)# 初始化不同的聚类算法
kmeans KMeans(n_clusters5, random_state42)
dbscan DBSCAN(eps0.5, min_samples5)
agg_clustering AgglomerativeClustering(n_clusters5)# 聚类模型训练
kmeans.fit(X)
dbscan.fit(X)
agg_clustering.fit(X)# 聚类评估
kmeans_score evaluate_clustering(kmeans, X)
dbscan_score evaluate_clustering(dbscan, X)
agg_score evaluate_clustering(agg_clustering, X)# 输出评估结果
print(fK-means Silhouette Score: {kmeans_score:.4f})
print(fDBSCAN Silhouette Score: {dbscan_score:.4f})
print(fAgglomerative Clustering Silhouette Score: {agg_score:.4f})CoNLL-2003 数据集我们通过 nltk.corpus.conll2003 来加载 CoNLL-2003 数据集。每个句子的词语通过 iob_sents() 提取并合并成文本形式。特征提取我们使用 TfidfVectorizer 将文本转换为 TF-IDF 特征表示移除英文停用词。聚类算法我们使用三种不同的聚类算法 K-means我们指定 n_clusters5你可以根据需要调整。DBSCAN这里我们指定了 eps0.5 和 min_samples5这两个参数可以调节以优化聚类效果。层次聚类使用 AgglomerativeClustering 进行层次聚类并设置 n_clusters5。 评估使用 轮廓系数Silhouette Score来评估聚类效果。轮廓系数越接近 1 表示聚类效果越好接近 -1 表示聚类效果差。
总结
如何选择合适的聚类算法
对于大规模、结构简单的数据集K均值可能更合适。含有噪声或非凸形状的数据集DBSCAN表现较好。层次结构明显或需要层次划分的数据可以选择AGNES。
实际应用场景
客户分群使用K均值或层次聚类对客户数据进行分类提供个性化服务。图像分割利用DBSCAN识别图像中的物体轮廓。文本聚类通过层次聚类对新闻或文档进行分组形成主题集群。 挑战与创造都是很痛苦的但是很充实。
