1
| 本文作者： 叢末 | 2019-01-19 15:20 |
雷鋒網(wǎng) AI 科技評(píng)論按：近日，由盧志武博士領(lǐng)導(dǎo)的中國(guó)人民大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)研究組開(kāi)發(fā)了一套 AI 讀心師系統(tǒng)，該系統(tǒng)可以通過(guò)分析一段短視頻，來(lái)進(jìn)行心理健康分析、個(gè)人信用評(píng)估、五重性格測(cè)試等，可應(yīng)用于銀行面簽、法庭庭審、公司面試等多個(gè)場(chǎng)景。
AI 讀心師系統(tǒng)
中國(guó)人民大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)研究組由盧志武博士，以及 10 余名博士生與碩士生組成，屬于文繼榮教授的大數(shù)據(jù)分析團(tuán)隊(duì)。該研究組在 TPAMI、IJCV、NIPS、CVPR 等頂級(jí)期刊/會(huì)議上發(fā)表 40 余篇論文，主持了國(guó)家自然科學(xué)基金、軍委科技委等多個(gè)國(guó)家項(xiàng)目，還曾獲人工智能?chē)?guó)際權(quán)威評(píng)測(cè) ImageNet 2015 視頻檢測(cè)任務(wù)亞軍。
據(jù)盧志武博士的介紹，AI 讀心師系統(tǒng)作為一套能夠進(jìn)行心理健康以及信用分析的系統(tǒng)，主要基于該研究組在精神疾病診斷、視頻測(cè)謊兩個(gè)方向上的研究成果。下面我們進(jìn)行一一介紹：
將人工智能技術(shù)應(yīng)用到精神疾病診斷這一領(lǐng)域，是研究組的一個(gè)重要嘗試，其相關(guān)的研究成果也發(fā)表在了計(jì)算機(jī)視覺(jué)權(quán)威會(huì)議 BMVC 2018（全稱(chēng)為 British Machine Vision Conference，為次于 CVPR、ICCV、ECCV 的第四大計(jì)算機(jī)視覺(jué)會(huì)議）。他們?cè)谡撐模ㄏ螺d地址：http://bmvc2018.org/contents/papers/0406.pdf）中，提出了一種新的深度學(xué)習(xí)模型——DeepInsight，該模型可用于快速檢測(cè)自閉癥譜系障礙（ASD）和重度抑郁障礙（MDD）。
據(jù)之前的醫(yī)學(xué)研究表明，患有自閉癥的兒童與正常發(fā)育的兒童在面部特征上存在明顯差異。基于這一發(fā)現(xiàn)，研究組初步考慮利用深度學(xué)習(xí)方法提取對(duì)自閉癥診斷有辨別力的面部特征。然而，由于現(xiàn)有的標(biāo)記數(shù)據(jù)（真實(shí)患者數(shù)據(jù)）遠(yuǎn)遠(yuǎn)不能滿(mǎn)足對(duì)自閉癥診斷深度模型的訓(xùn)練，因而他們嘗試通過(guò)同時(shí)考慮兩種典型的精神障礙（ASD 和 MDD）來(lái)完成相關(guān)的任務(wù)，并提出了一個(gè)多任務(wù)多尺度深度學(xué)習(xí)模型 DeepInsight，以便對(duì)每個(gè)診斷任務(wù)的標(biāo)記數(shù)據(jù)進(jìn)行擴(kuò)充，提升深度學(xué)習(xí)模型的性能。
圖 1 多任務(wù)多尺度深度學(xué)習(xí)模型 DeepInsight
本文通過(guò)從醫(yī)院收集真實(shí)患者數(shù)據(jù)以及從微博等社交媒體收集患者數(shù)據(jù)，首次創(chuàng)建了公開(kāi)的自閉癥和抑郁癥人臉數(shù)據(jù)集?；谶@一數(shù)據(jù)集，DeepInsight 模型最終取得非常出色的成績(jī)——自閉診與抑郁癥的診斷準(zhǔn)確率均接近 90%（如圖 2），驗(yàn)證了該診斷模型的有效性。
圖 2 自閉診與抑郁癥診斷模型的結(jié)果比較
研究組還將人工智能技術(shù)應(yīng)用于視頻測(cè)謊 (deception detection from videos）[2]，其相關(guān)論文的網(wǎng)址為：http://arxiv.org/abs/1812.04429。目前，視頻測(cè)謊問(wèn)題面臨兩大挑戰(zhàn)：(1) 如何有效地融合面部和動(dòng)作信息來(lái)判斷視頻中個(gè)體是否說(shuō)謊；(2) 真實(shí)視頻數(shù)據(jù)集規(guī)模很小，如何將深度學(xué)習(xí)應(yīng)用在數(shù)量有限的訓(xùn)練數(shù)據(jù)上。為了解決這些問(wèn)題，本文提出了 face-focused cross-stream network（FFCSN）模型（如圖 3）。
圖 3 視頻測(cè)謊深度學(xué)習(xí)模型 FFCSN
不同于常見(jiàn)的雙流網(wǎng)絡(luò)模型（two-stream network），F(xiàn)FCSN 模型考慮將人臉檢測(cè)用于空間流來(lái)捕捉面部特征，并在整個(gè)網(wǎng)絡(luò)中利用相關(guān)學(xué)習(xí)來(lái)融合時(shí)空特征進(jìn)行聯(lián)合訓(xùn)練。此外，F(xiàn)FCSN 模型還引入了元學(xué)習(xí)（meta learning）和對(duì)抗學(xué)習(xí)（adversarial learning）來(lái)解決訓(xùn)練數(shù)據(jù)量小的問(wèn)題。
FFCSN 模型在公開(kāi)的真實(shí)庭審視頻數(shù)據(jù)集上取得了當(dāng)前最好的結(jié)果，同時(shí)，該模型在考慮音頻與文本信息后實(shí)現(xiàn)了 97% 的識(shí)別準(zhǔn)確率（如圖 4），驗(yàn)證了該模型在視頻測(cè)謊中非常有效。
圖 4 視頻測(cè)謊模型的結(jié)果比較
得益于上述研究成果，AI 讀心師系統(tǒng)應(yīng)運(yùn)而生?；谌四樧R(shí)別技術(shù)，該系統(tǒng)主要有三個(gè)功能模塊：1. 心理健康測(cè)評(píng)；2. 個(gè)人信用分析；3. 五重性格評(píng)估。具體實(shí)現(xiàn)方式上，輸入被測(cè)試者的面部表情短視頻后，系統(tǒng)會(huì)輸出心理健康分析、個(gè)人信用評(píng)估、五重性格測(cè)試三個(gè)維度的分析結(jié)果。
其分析流程及采用的主要算法和模型描述如下：
1. 人臉檢測(cè)：被試人面部表情視頻流輸入，經(jīng)過(guò) opencv 和 ffmpeg 工具進(jìn)行視頻抽幀，由人臉檢測(cè)模型（多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò) MTCNN）對(duì)每幀中的人臉進(jìn)行檢測(cè)、裁剪、矯正后得到標(biāo)準(zhǔn)人臉圖像，并作為后續(xù)三個(gè)分析模塊的輸入數(shù)據(jù)；
2. 心理健康測(cè)評(píng)：人臉檢測(cè)部分得到的標(biāo)準(zhǔn)人臉圖像根據(jù)是否正臉 、是否清晰、裁剪尺寸適當(dāng)?shù)脑瓌t經(jīng)過(guò)篩后得到一張關(guān)鍵人臉圖像，將該關(guān)鍵人臉圖像輸入預(yù)訓(xùn)練好的心理健康測(cè)評(píng)模型（InceptionV3 使用心理健康人臉圖像數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）中進(jìn)行特征提取，并將提取出的人臉特征輸入 SVM 分類(lèi)器中進(jìn)行分類(lèi)，最終得到該模塊輸出，即心理健康程度評(píng)分；
3. 個(gè)人信用分析：人臉檢測(cè)部分得到的標(biāo)準(zhǔn)人臉序列輸入到預(yù)訓(xùn)練好的個(gè)人信用分析模型中（ResNet34 使用個(gè)人信用人臉圖像序列數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）進(jìn)行特征提取并分類(lèi)，該模塊不提取關(guān)鍵幀，即對(duì)被試人員面部表情視頻流中出現(xiàn)的所有人臉圖像進(jìn)行分析，將每一幀人臉圖像分析結(jié)果進(jìn)行加權(quán)匯總后給出該模塊最終分析結(jié)果，即個(gè)人信用評(píng)分；
4. 五重性格評(píng)估：人臉檢測(cè)部分得到的標(biāo)準(zhǔn)人臉序列輸入到預(yù)訓(xùn)練好的五重性格評(píng)估模型（ResNet34 使用五重性格人臉圖像序列數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）中進(jìn)行特征提取及分類(lèi)，該模塊也不提取關(guān)鍵幀，即對(duì)被試人員面部表情視頻流中出現(xiàn)的所有人臉圖像進(jìn)行分析，將每一幀人臉圖像分析結(jié)果進(jìn)行加權(quán)匯總后給出該模塊最終分析結(jié)果，即被試人員五重性格各維度的評(píng)分。
目前，該系統(tǒng)已有實(shí)體店智慧零售、高中生心理健康測(cè)試等成功案例。例如在心理健康測(cè)試方面，AI 讀心師系統(tǒng)通過(guò)分析某高中一年級(jí) 1200 余名學(xué)生的信息，將 AI 得到的結(jié)果與調(diào)查問(wèn)卷的結(jié)果相互驗(yàn)證，最終發(fā)現(xiàn) 17 疑似例抑郁癥樣本。
資料自來(lái)于：盧志武博士，雷鋒網(wǎng) AI 科技評(píng)論報(bào)道
參考文獻(xiàn)：
[1] Mingyu Ding, Yuqi Huo, Jun Hu, and Zhiwu Lu, DeepInsight: Multi-Task Multi-Scale Deep Learning for Mental Disorder Diagnosis, BMVC 2018.
[2] Mingyu Ding, An Zhao, Zhiwu Lu, Tao Xiang, and Ji-Rong Wen, Face-Focused Cross-Stream Network for Deception Detection in Videos, CoRR abs/1812.04429, 2018. 雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
