雷鋒網(wǎng)按：本文為雷鋒字幕組編譯的技術(shù)博客，原標(biāo)題 A Comprehensive Guide to Understand and Implement Text Classification in Python ，作者為  SHIVAM BANSAL 。

翻譯 | 馬力群  于澤平      校對(duì) | 涂世文      整理 | MY

引言

文本分類(lèi)作為自然語(yǔ)言處理任務(wù)之一，被廣泛應(yīng)用于解決各種商業(yè)領(lǐng)域的問(wèn)題。文本分類(lèi)的目的是將 文本/文檔 自動(dòng)地歸類(lèi)為一種或多種預(yù)定義的類(lèi)別。常見(jiàn)的文本分類(lèi)應(yīng)用如下：

• 理解社交媒體用戶的情感

• 識(shí)別垃圾郵件與正常郵件

• 自動(dòng)標(biāo)注用戶的查詢

• 將新聞按已有的主題分類(lèi)

 

主要內(nèi)容

在這篇文章中，我會(huì)講解文本分類(lèi)的知識(shí)并在  Python 中一步一步實(shí)現(xiàn)文本分類(lèi)。

文本分類(lèi)屬于有監(jiān)督機(jī)器學(xué)習(xí)任務(wù)，這是因?yàn)槲谋痉诸?lèi)任務(wù)利用一個(gè)包含 文本/文檔 及其對(duì)應(yīng)類(lèi)標(biāo)的有標(biāo)注數(shù)據(jù)集來(lái)訓(xùn)練一個(gè)分類(lèi)器。一個(gè)端到端的文本分類(lèi)流程包括三個(gè)主要環(huán)節(jié)：

1. 數(shù)據(jù)集準(zhǔn)備: 第一步為數(shù)據(jù)準(zhǔn)備，這一步包括數(shù)據(jù)加以及基本的預(yù)處理工作。數(shù)據(jù)集之后會(huì)被分割的訓(xùn)練集與驗(yàn)證集。

2. 特征工程: 第二步為特征工程，在這一步中，原始數(shù)據(jù)會(huì)轉(zhuǎn)變?yōu)檫m用于機(jī)器學(xué)習(xí)模型的特征。這一步還包括從已有數(shù)據(jù)中構(gòu)建新的特征的過(guò)程。

3. 模型訓(xùn)練: 最后一步為模型構(gòu)建，在這一步中機(jī)器學(xué)習(xí)模型會(huì)在一個(gè)有標(biāo)注數(shù)據(jù)集上進(jìn)行訓(xùn)練。

4. 提升文本分類(lèi)器的性能: 在這篇文章中，我們還會(huì)關(guān)注各種提升文本分類(lèi)器性能的方法。

說(shuō)明 : 這篇文章不會(huì)深入探討自然語(yǔ)言處理任務(wù)。如果你想要溫習(xí)基礎(chǔ)知識(shí)后再閱讀本文，你可以瀏覽這篇文章（鏈接：https://www.analyticsvidhya.com/blog/2017/01/ultimate-guide-to-understand-implement-natural-language-processing-codes-in-python/）。

準(zhǔn)備工作

讓我們通過(guò)一步一步實(shí)現(xiàn)的方式用 Python 搭建一個(gè)文本分類(lèi)框架。首先，需要導(dǎo)入所需的 Python 庫(kù)。

你需要一些必要的 Python 工具庫(kù)來(lái)運(yùn)行這一程序，你可以在這些第三方 Python 庫(kù)的官方鏈接下安裝它們。

• Pandas

• Scikit-learn

• XGBoost

• TextBlob

• Keras

# 用于數(shù)據(jù)準(zhǔn)備，特征工程，模型訓(xùn)練的庫(kù)

1. 數(shù)據(jù)集準(zhǔn)備

根據(jù)本文的目標(biāo)，我采用了亞馬遜評(píng)論的數(shù)據(jù)集，這一數(shù)據(jù)集可以通過(guò)該鏈接（https://gist.github.com/kunalj101/ad1d9c58d338e20d09ff26bcc06c4235）下載。該數(shù)據(jù)集包含了 360 萬(wàn)文本評(píng)論及其對(duì)應(yīng)的標(biāo)簽，我們只用其中的一小部分。為了準(zhǔn)備數(shù)據(jù)，將下載好的數(shù)據(jù)加載到 pandas 的一個(gè)數(shù)據(jù)框中，該數(shù)據(jù)框包含兩列——文本與標(biāo)簽。

接下來(lái)，我們將數(shù)據(jù)集分割為訓(xùn)練集與驗(yàn)證集，這樣我們就可以訓(xùn)練和測(cè)試分類(lèi)器。并且，我們將標(biāo)簽列進(jìn)行編碼使其可以用于機(jī)器學(xué)習(xí)模型。

2. 特征工程

下一步為特征工程。在這一步中，原始數(shù)據(jù)會(huì)被轉(zhuǎn)換為特征向量并且會(huì)從已有的數(shù)據(jù)中構(gòu)建出新的特征。為了從我們的數(shù)據(jù)集中提取出相關(guān)的特征，我們會(huì)實(shí)現(xiàn)以下各種想法。

2.1 以計(jì)數(shù)向量為特征

2.2 TF-IDF 向量為特征

•  詞匯級(jí)

•  N-Gram 級(jí)

•  字符級(jí)

2.3 以詞向量為特征

2.4 基于 文本/自然語(yǔ)言處理 的特征

2.5 以主題模型為特征

讓我們?cè)敿?xì)了解這些想法的實(shí)現(xiàn)。

2.1 以計(jì)數(shù)向量為特征

計(jì)數(shù)向量是數(shù)據(jù)集的一種矩陣表示，在這一矩陣中每一行代表語(yǔ)料中的一個(gè)文檔，每一列代表語(yǔ)料中的一個(gè)詞項(xiàng)，每一個(gè)元素代表特定文檔中特定詞項(xiàng)的頻率計(jì)數(shù)。

2.2 以TF-IDF向量為特征

TF-IDF 分?jǐn)?shù)代表一個(gè)詞項(xiàng)在某一文檔與整個(gè)語(yǔ)料庫(kù)中的相對(duì)重要程度。TF-IDF 值由兩部分組成：第一部分為歸一化詞頻 ( TF ) ，第二部分為逆文檔頻率 ( IDF )，逆文檔頻率由語(yǔ)料中的文檔總數(shù)除以出現(xiàn)對(duì)應(yīng)詞項(xiàng)的文檔的數(shù)量的結(jié)果取對(duì)數(shù)計(jì)算得到。

TF( t ) = (在某一文檔中詞項(xiàng)t出現(xiàn)的次數(shù)) / (該文檔中詞項(xiàng)總數(shù))
IDF( t ) = log_e (文檔總數(shù) / 包含詞項(xiàng) t 的文檔的數(shù)量)

TF-IDF 可以由不同級(jí)別的輸入得到(詞，字符，N-grams )

a. 詞級(jí) TF-IDF : 矩陣表示不同文檔中各個(gè)詞項(xiàng) TF-IDF 值。
b. N-gram 級(jí) TF-IDF : N-grams 為 N 個(gè)詞項(xiàng)結(jié)合在一起的形式。這一矩陣表示 N-grams 的 TF-IDF 值。
c. TF-IDF 字符級(jí) TF-IDF: 矩陣表示語(yǔ)料中字符級(jí)別的 N-grams 的 TF-IDF 值。

2.3 詞向量

詞向量是一種利用稠密向量表示 詞/文檔 的形式。詞在向量空間中的位置從文本中學(xué)習(xí)得到并且以該詞附近出現(xiàn)的詞為學(xué)習(xí)依據(jù)。詞向量可以由輸入語(yǔ)料自身學(xué)習(xí)得到或者可以利用預(yù)訓(xùn)練好的詞向量生成，例如 Glove，F(xiàn)astText 和 Word2Vec。它們中的任意一個(gè)都可以下載并以遷移學(xué)習(xí)的形式使用。我們可以在這里閱讀到更多關(guān)于詞向量的內(nèi)容。

下方的代碼片段展示了如何在模型中利用預(yù)訓(xùn)練的詞向量。有四個(gè)必要的步驟：

• 加載預(yù)訓(xùn)練的詞向量

• 創(chuàng)建標(biāo)記器對(duì)象

• 將文本文檔轉(zhuǎn)換為詞條序列并對(duì)其進(jìn)行填補(bǔ)。

• 創(chuàng)建詞條與其對(duì)應(yīng)的詞向量之間的映射。

你可以從這里（https://www.analyticsvidhya.com/blog/2017/06/word-embeddings-count-word2veec/）下載預(yù)訓(xùn)練好的詞向量。

2.4 基于文本/自然語(yǔ)言處理的特征

還可以構(gòu)建一些額外的基于文本的的特征，這些特征有時(shí)有助于提升文本分類(lèi)模型性能。一些例子如下：

1. 文檔的詞計(jì)數(shù)—文檔中詞總數(shù)

2. 文檔的字符計(jì)數(shù)—文檔中字符總數(shù)
   

3. 文檔的平均詞密度—文檔中詞的平均長(zhǎng)度
   

4. 整篇文章中的標(biāo)點(diǎn)符號(hào)計(jì)數(shù)—文檔中標(biāo)點(diǎn)符號(hào)的總數(shù)
   

5. 整篇文章中大寫(xiě)詞計(jì)數(shù)—文檔中大寫(xiě)詞的總數(shù)
   

6. 整篇文章中標(biāo)題詞計(jì)數(shù)—文檔中合適的大小寫(xiě)(標(biāo)題)詞總數(shù)

7. 詞性標(biāo)簽的頻率分布: 
   

• 名詞計(jì)數(shù)
  

• 動(dòng)詞計(jì)數(shù)
  

• 形容詞計(jì)數(shù)
  

• 副詞計(jì)數(shù)
  

• 代詞計(jì)數(shù)
  

這些特征是實(shí)驗(yàn)性質(zhì)的，只能根據(jù)特定的情況使用。

2.5 基于主題模型的特征

主題模型是一種從包含最佳信息的一批文檔中辨別詞所屬組(被稱(chēng)作主題)的技術(shù)。我利用隱狄利克雷分布 ( Latent Dirichlet Allocation ) 生成主題模型特征。LDA 是一種迭代模型，迭代從固定數(shù)量的主題開(kāi)始。每個(gè)主題被表示為一個(gè)詞的概率分布，每個(gè)文檔被表示為一個(gè)主題的概率分布。盡管詞條自身是沒(méi)有意義的，但是這些主題所代表的詞的概率分布有種包含在文檔中的不同概念的感覺(jué)?？梢栽谶@里閱讀到更多關(guān)于主題模型的內(nèi)容（https://www.analyticsvidhya.com/blog/2016/08/beginners-guide-to-topic-modeling-in-python/）。

讓我們來(lái)看看它的實(shí)現(xiàn)：

3. 模型建立

文本分類(lèi)框架搭建的最后一步為利用前幾步創(chuàng)建的特征訓(xùn)練一個(gè)分類(lèi)器。機(jī)器學(xué)習(xí)模型有許多不同的選擇，這些模型都可以用來(lái)訓(xùn)練最終的模型。為此，我們將會(huì)實(shí)現(xiàn)下列幾種不同的分類(lèi)器：

1. 樸素貝葉斯分類(lèi)器

2. 線性分類(lèi)器
   

3. 支持向量機(jī)
   

4. Bagging  模型
   

5. Boosting  模型 
   

6. 淺層神經(jīng)網(wǎng)絡(luò)
   

7. 深度神經(jīng)網(wǎng)絡(luò)
   

• 卷積神經(jīng)網(wǎng)絡(luò) (CNN)
  

• 長(zhǎng)短時(shí)記憶模型 (LSTM)

• 門(mén)控循環(huán)單元 (GRU)

• 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)
  

• 循環(huán)卷積神經(jīng)網(wǎng)絡(luò) (RCNN)

• 其他深度神經(jīng)網(wǎng)絡(luò)的變種
  

讓我們來(lái)實(shí)現(xiàn)這些模型并理解它們的實(shí)現(xiàn)細(xì)節(jié)。下方的函數(shù)是一個(gè)可以用于訓(xùn)練模型的實(shí)用函數(shù)。它以分類(lèi)器、訓(xùn)練數(shù)據(jù)的特征向量、訓(xùn)練數(shù)據(jù)的標(biāo)簽和驗(yàn)證集的特征向量作為輸入。模型利用這些輸入進(jìn)行訓(xùn)練與計(jì)算準(zhǔn)確率。

3.1 樸素貝葉斯

利用 sklearn 實(shí)現(xiàn)基于不同特征的樸素貝葉斯模型

樸素貝葉斯是一種基于貝葉斯理論的分類(lèi)技術(shù)，它假設(shè)預(yù)測(cè)變量是獨(dú)立的。樸素貝葉斯分類(lèi)器假設(shè)類(lèi)別中的特征與其他特征不相關(guān)。

3.2 線性分類(lèi)器

實(shí)現(xiàn)線性分類(lèi)器（邏輯回歸）

邏輯回歸使用 logisitic/sigmoid 函數(shù)估計(jì)概率，并以此估計(jì)因變量與一個(gè)或多個(gè)自變量之間的關(guān)系。

3.3 支持向量機(jī)模型

支持向量機(jī)（SVM）是一種監(jiān)督學(xué)習(xí)算法，可用在分類(lèi)或回歸任務(wù)中。此模型提取了分離兩個(gè)類(lèi)別的最佳超平面/線。

3.4 Bagging

實(shí)現(xiàn)隨機(jī)森林模型。

隨機(jī)森林模型是集成模型中的一種，更精確地說(shuō)，是 bagging 模型中的一種。它是基于樹(shù)的模型之一。

3.5 Boosting

實(shí)現(xiàn) xgboost 模型。

Boosting 模型是另一種基于樹(shù)的集成模型。Boosting 是一種機(jī)器學(xué)習(xí)集成元算法，用來(lái)減小監(jiān)督學(xué)習(xí)中的偏差與方差，它可以將弱分類(lèi)器轉(zhuǎn)化為強(qiáng)分類(lèi)器。弱分類(lèi)器指的是與正確類(lèi)別輕微相關(guān)的分類(lèi)器（比隨機(jī)猜測(cè)要好一些）。

3.6 淺層神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是一種被設(shè)計(jì)成與生物神經(jīng)元和神經(jīng)系統(tǒng)類(lèi)似的數(shù)學(xué)模型，可用來(lái)識(shí)別標(biāo)注數(shù)據(jù)中的復(fù)雜關(guān)系。一個(gè)淺層神經(jīng)網(wǎng)絡(luò)主要包含三個(gè)層——輸入層，隱藏層和輸出層。

3.7 深層神經(jīng)網(wǎng)絡(luò)

深層神經(jīng)網(wǎng)絡(luò)是更復(fù)雜的神經(jīng)網(wǎng)絡(luò)，它的隱藏層執(zhí)行比 sigmoid 或 relu 激活函數(shù)更復(fù)雜的操作。許多類(lèi)型的深層神經(jīng)網(wǎng)絡(luò)都可應(yīng)用于文本分類(lèi)問(wèn)題中。

3.7.1 卷積神經(jīng)網(wǎng)絡(luò)

在卷積神經(jīng)網(wǎng)絡(luò)中，作用于輸入層上的卷積操作被用于計(jì)算輸出。卷積神經(jīng)網(wǎng)絡(luò)使用局部連接，輸入的每一個(gè)區(qū)域都連接到輸出的神經(jīng)元上。每一層使用不同的過(guò)濾器并將結(jié)果組合起來(lái)。

3.7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)——LSTM

與前饋神經(jīng)網(wǎng)絡(luò)激活函數(shù)只在一個(gè)方向傳播的方式不同，循環(huán)神經(jīng)網(wǎng)絡(luò)的激活函數(shù)的輸出在兩個(gè)方向傳播（從輸入到輸出，從輸出到輸入）。這產(chǎn)生了循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)中的循環(huán)，充當(dāng)神經(jīng)元中的“記憶狀態(tài)”。這種狀態(tài)使神經(jīng)元記憶迄今為止所學(xué)到的東西。

循環(huán)神經(jīng)網(wǎng)絡(luò)中的記憶單元比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更有優(yōu)勢(shì)，但梯度消失問(wèn)題隨之產(chǎn)生。當(dāng)層數(shù)很多時(shí)，神經(jīng)網(wǎng)絡(luò)很難學(xué)習(xí)并調(diào)整前面層數(shù)的參數(shù)。為了解決這個(gè)問(wèn)題，一種名為L(zhǎng)STM（長(zhǎng)短期記憶）的新型RNN模型被發(fā)明出來(lái)。

def create_rnn_lstm():

3.7.3 循環(huán)神經(jīng)網(wǎng)絡(luò)——GRU

門(mén)控循環(huán)單元（GRU）是另一種循環(huán)神經(jīng)網(wǎng)絡(luò)。我們?cè)诰W(wǎng)絡(luò)中添加一個(gè)GRU層來(lái)代替LSTM。

3.7.4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN層可以被封裝在雙向?qū)又?，我們?lái)把GRU層封裝在雙向?qū)又小?/p>

3.7.5 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)

我們嘗試過(guò)基本的結(jié)構(gòu)了，現(xiàn)在可以試試它們的變種循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（RCNN）。其它變種有：

1. 層次注意力網(wǎng)絡(luò)（HAN）

2. 具有注意力機(jī)制的序列-序列模型

3. 雙向RCNN

4. 更多層的CNN與RNN

提升模型的性能

雖然上述的框架可以應(yīng)用在許多文本分類(lèi)問(wèn)題中，但為了達(dá)到更高的準(zhǔn)確率，可以在整體結(jié)構(gòu)上進(jìn)行改進(jìn)。例如，以下是一些可以提升文本分類(lèi)模型性能的技巧：

1. 文本清洗 : 文本清洗可以幫助減小文本數(shù)據(jù)中的噪聲，如停用詞，標(biāo)點(diǎn)符號(hào)，后綴等。

2. 將不同的特征向量組合起來(lái)： 在特征工程部分，我們得到了許多不同特征，把它們組合到一起可以提高分類(lèi)準(zhǔn)確率。

3. 模型中的調(diào)參 : 調(diào)參是一個(gè)很重要的步驟，可以對(duì)一些參數(shù)（樹(shù)的長(zhǎng)度、葉子節(jié)點(diǎn)個(gè)數(shù)、神經(jīng)網(wǎng)絡(luò)參數(shù)等）進(jìn)行微調(diào)，獲得最佳擬合的模型。

4. 集成模型 :  將不同的模型結(jié)合到一起并組合它們的輸出可以提升結(jié)果。

結(jié)束語(yǔ)

在這篇文章中，我們討論了如何準(zhǔn)備文本數(shù)據(jù)集，如清洗、創(chuàng)建訓(xùn)練集與測(cè)試集。使用不同的特征工程如詞頻、TF-IDF、詞向量、主題模型以及基本的文本特征。然后我們訓(xùn)練了許多分類(lèi)器，如樸素貝葉斯、邏輯回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、LSTM 和 GRU。最后我們討論了提升文本分類(lèi)器性能的多種方法。

你覺(jué)得這篇文章有用嗎？請(qǐng)?jiān)谠u(píng)論中分享你的看法。

你也可以在 Analytics Vidhya 的 Android APP中閱讀本文。

原文鏈接：https://www.analyticsvidhya.com/blog/2018/04/a-comprehensive-guide-to-understand-and-implement-text-classification-in-python/

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。