無監(jiān)督聚類問題中，如何決定簇的最優(yōu)數(shù)量？

本文作者：三川

2017-05-15 18:20

導(dǎo)語：聚類問題有一大經(jīng)典難題：沒有 ground truth ，我們怎么才能知道數(shù)據(jù)簇的最優(yōu)數(shù)目？

雷鋒網(wǎng)按：聚類問題有一大經(jīng)典難題：沒有數(shù)據(jù)集的真實(shí)分類情況，我們怎么才能知道數(shù)據(jù)簇的最優(yōu)數(shù)目？

本文會(huì)談?wù)劷鉀Q該問題的兩種流行方法：elbow method（肘子法）和 silhouette method。

在監(jiān)督學(xué)習(xí)里，某特定數(shù)據(jù)集的類（class）的數(shù)量，在一開始就是知道的——每個(gè)數(shù)據(jù)實(shí)例，都被標(biāo)記歸屬于某個(gè)類。最壞的情況下，我們還可以盤查類屬性（ class attribute），計(jì)算其中包含的獨(dú)特元素。

無監(jiān)督聚類問題中，如何決定簇的最優(yōu)數(shù)量？

但在無監(jiān)督學(xué)習(xí)里，類屬性或者明確的類成員劃分是不存在的。想想也是，無監(jiān)督學(xué)習(xí)的一個(gè)主要形式，就是數(shù)據(jù)聚類。它的目標(biāo)是通過最小化不同類之間的實(shí)例相似度、最大化同個(gè)類中的實(shí)例相似度，來進(jìn)行大致的類成員劃分。

眾所周知，聚類問題有一個(gè)很大的技術(shù)難題——不管是以什么形式，開發(fā)者需要在一開始，就給出無標(biāo)記數(shù)據(jù)集中的類的數(shù)目。足夠幸運(yùn)的話，你或許事先就知道數(shù)據(jù)的 ground truth——類的真實(shí)數(shù)目。但情況并不會(huì)總是如此。譬如說，或許數(shù)據(jù)中不存在定義明確的類（簇）。而無監(jiān)督學(xué)習(xí)本來的意義，便是探索數(shù)據(jù)，找出使簇、類得數(shù)目達(dá)到最優(yōu)的結(jié)構(gòu)。

這就回到了文章開頭的問題：不知道 ground truth 的情況下，怎么才能知道數(shù)據(jù)簇的最優(yōu)數(shù)目是多少？這方面，倒是已經(jīng)林林總總有相當(dāng)多的處理方法。本文會(huì)討論其中應(yīng)用極廣泛的兩種方法。第一種，是 Elbow Method。

Elbow Method

elbow method 是上手首選，由于能通過可視化便利地解釋、驗(yàn)證，它的用處很大。它用關(guān)于簇?cái)?shù)目的函數(shù)來解釋方差（k-means 里的 k）。它會(huì)繪制出能被 k 解釋的方差的比例。第一批的 N 個(gè)簇應(yīng)當(dāng)會(huì)為解釋方差添加大量信息。但是，有些 k 最終值會(huì)導(dǎo)致少得多的信息增量。這時(shí)，數(shù)據(jù)圖會(huì)有明顯的角度。該角度就是簇的最優(yōu)數(shù)量。

雷鋒網(wǎng)提醒，有一點(diǎn)應(yīng)該是不言而喻、無須解釋的：為了按照不同的簇?cái)?shù)量繪制方差，需要對(duì)不同數(shù)目的簇進(jìn)行測試。在繪制、比較結(jié)果之后，必須要有該聚類方法的成功、完整地迭代。

無監(jiān)督聚類問題中，如何決定簇的最優(yōu)數(shù)量？

Silhouette Method

Silhouette method 會(huì)衡量對(duì)象和所屬簇之間的相似度——即內(nèi)聚性（cohesion）。當(dāng)把它與其他簇做比較，就稱為分離性（separation）。該對(duì)比通過 silhouette 值來實(shí)現(xiàn)，后者在 [-1, 1] 范圍內(nèi)。Silhouette 值接近 1，說明對(duì)象與所屬簇之間有密切聯(lián)系；反之則接近 -1。若某模型中的一個(gè)數(shù)據(jù)簇，生成的基本是比較高的 silhouette 值，說明該模型是合適、可接受的。

無監(jiān)督聚類問題中，如何決定簇的最優(yōu)數(shù)量？