1
| 本文作者： 叢末 | 2019-01-19 15:20 |
雷鋒網(wǎng) AI 科技評論按：近日，由盧志武博士領(lǐng)導(dǎo)的中國人民大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)研究組開發(fā)了一套 AI 讀心師系統(tǒng)，該系統(tǒng)可以通過分析一段短視頻，來進(jìn)行心理健康分析、個人信用評估、五重性格測試等，可應(yīng)用于銀行面簽、法庭庭審、公司面試等多個場景。
AI 讀心師系統(tǒng)
中國人民大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)研究組由盧志武博士，以及 10 余名博士生與碩士生組成，屬于文繼榮教授的大數(shù)據(jù)分析團(tuán)隊(duì)。該研究組在 TPAMI、IJCV、NIPS、CVPR 等頂級期刊/會議上發(fā)表 40 余篇論文，主持了國家自然科學(xué)基金、軍委科技委等多個國家項(xiàng)目，還曾獲人工智能國際權(quán)威評測 ImageNet 2015 視頻檢測任務(wù)亞軍。
據(jù)盧志武博士的介紹，AI 讀心師系統(tǒng)作為一套能夠進(jìn)行心理健康以及信用分析的系統(tǒng)，主要基于該研究組在精神疾病診斷、視頻測謊兩個方向上的研究成果。下面我們進(jìn)行一一介紹：
將人工智能技術(shù)應(yīng)用到精神疾病診斷這一領(lǐng)域，是研究組的一個重要嘗試，其相關(guān)的研究成果也發(fā)表在了計(jì)算機(jī)視覺權(quán)威會議 BMVC 2018（全稱為 British Machine Vision Conference，為次于 CVPR、ICCV、ECCV 的第四大計(jì)算機(jī)視覺會議）。他們在論文（下載地址：http://bmvc2018.org/contents/papers/0406.pdf）中，提出了一種新的深度學(xué)習(xí)模型——DeepInsight，該模型可用于快速檢測自閉癥譜系障礙（ASD）和重度抑郁障礙（MDD）。
據(jù)之前的醫(yī)學(xué)研究表明，患有自閉癥的兒童與正常發(fā)育的兒童在面部特征上存在明顯差異?；谶@一發(fā)現(xiàn)，研究組初步考慮利用深度學(xué)習(xí)方法提取對自閉癥診斷有辨別力的面部特征。然而，由于現(xiàn)有的標(biāo)記數(shù)據(jù)（真實(shí)患者數(shù)據(jù)）遠(yuǎn)遠(yuǎn)不能滿足對自閉癥診斷深度模型的訓(xùn)練，因而他們嘗試通過同時考慮兩種典型的精神障礙（ASD 和 MDD）來完成相關(guān)的任務(wù)，并提出了一個多任務(wù)多尺度深度學(xué)習(xí)模型 DeepInsight，以便對每個診斷任務(wù)的標(biāo)記數(shù)據(jù)進(jìn)行擴(kuò)充，提升深度學(xué)習(xí)模型的性能。
圖 1 多任務(wù)多尺度深度學(xué)習(xí)模型 DeepInsight
本文通過從醫(yī)院收集真實(shí)患者數(shù)據(jù)以及從微博等社交媒體收集患者數(shù)據(jù)，首次創(chuàng)建了公開的自閉癥和抑郁癥人臉數(shù)據(jù)集?；谶@一數(shù)據(jù)集，DeepInsight 模型最終取得非常出色的成績——自閉診與抑郁癥的診斷準(zhǔn)確率均接近 90%（如圖 2），驗(yàn)證了該診斷模型的有效性。
圖 2 自閉診與抑郁癥診斷模型的結(jié)果比較
研究組還將人工智能技術(shù)應(yīng)用于視頻測謊 (deception detection from videos）[2]，其相關(guān)論文的網(wǎng)址為：http://arxiv.org/abs/1812.04429。目前，視頻測謊問題面臨兩大挑戰(zhàn)：(1) 如何有效地融合面部和動作信息來判斷視頻中個體是否說謊；(2) 真實(shí)視頻數(shù)據(jù)集規(guī)模很小，如何將深度學(xué)習(xí)應(yīng)用在數(shù)量有限的訓(xùn)練數(shù)據(jù)上。為了解決這些問題，本文提出了 face-focused cross-stream network（FFCSN）模型（如圖 3）。
圖 3 視頻測謊深度學(xué)習(xí)模型 FFCSN
不同于常見的雙流網(wǎng)絡(luò)模型（two-stream network），F(xiàn)FCSN 模型考慮將人臉檢測用于空間流來捕捉面部特征，并在整個網(wǎng)絡(luò)中利用相關(guān)學(xué)習(xí)來融合時空特征進(jìn)行聯(lián)合訓(xùn)練。此外，F(xiàn)FCSN 模型還引入了元學(xué)習(xí)（meta learning）和對抗學(xué)習(xí)（adversarial learning）來解決訓(xùn)練數(shù)據(jù)量小的問題。
FFCSN 模型在公開的真實(shí)庭審視頻數(shù)據(jù)集上取得了當(dāng)前最好的結(jié)果，同時，該模型在考慮音頻與文本信息后實(shí)現(xiàn)了 97% 的識別準(zhǔn)確率（如圖 4），驗(yàn)證了該模型在視頻測謊中非常有效。
圖 4 視頻測謊模型的結(jié)果比較
得益于上述研究成果，AI 讀心師系統(tǒng)應(yīng)運(yùn)而生。基于人臉識別技術(shù)，該系統(tǒng)主要有三個功能模塊：1. 心理健康測評；2. 個人信用分析；3. 五重性格評估。具體實(shí)現(xiàn)方式上，輸入被測試者的面部表情短視頻后，系統(tǒng)會輸出心理健康分析、個人信用評估、五重性格測試三個維度的分析結(jié)果。
其分析流程及采用的主要算法和模型描述如下：
1. 人臉檢測：被試人面部表情視頻流輸入，經(jīng)過 opencv 和 ffmpeg 工具進(jìn)行視頻抽幀，由人臉檢測模型（多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò) MTCNN）對每幀中的人臉進(jìn)行檢測、裁剪、矯正后得到標(biāo)準(zhǔn)人臉圖像，并作為后續(xù)三個分析模塊的輸入數(shù)據(jù)；
2. 心理健康測評：人臉檢測部分得到的標(biāo)準(zhǔn)人臉圖像根據(jù)是否正臉 、是否清晰、裁剪尺寸適當(dāng)?shù)脑瓌t經(jīng)過篩后得到一張關(guān)鍵人臉圖像，將該關(guān)鍵人臉圖像輸入預(yù)訓(xùn)練好的心理健康測評模型（InceptionV3 使用心理健康人臉圖像數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）中進(jìn)行特征提取，并將提取出的人臉特征輸入 SVM 分類器中進(jìn)行分類，最終得到該模塊輸出，即心理健康程度評分；
3. 個人信用分析：人臉檢測部分得到的標(biāo)準(zhǔn)人臉序列輸入到預(yù)訓(xùn)練好的個人信用分析模型中（ResNet34 使用個人信用人臉圖像序列數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）進(jìn)行特征提取并分類，該模塊不提取關(guān)鍵幀，即對被試人員面部表情視頻流中出現(xiàn)的所有人臉圖像進(jìn)行分析，將每一幀人臉圖像分析結(jié)果進(jìn)行加權(quán)匯總后給出該模塊最終分析結(jié)果，即個人信用評分；
4. 五重性格評估：人臉檢測部分得到的標(biāo)準(zhǔn)人臉序列輸入到預(yù)訓(xùn)練好的五重性格評估模型（ResNet34 使用五重性格人臉圖像序列數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）中進(jìn)行特征提取及分類，該模塊也不提取關(guān)鍵幀，即對被試人員面部表情視頻流中出現(xiàn)的所有人臉圖像進(jìn)行分析，將每一幀人臉圖像分析結(jié)果進(jìn)行加權(quán)匯總后給出該模塊最終分析結(jié)果，即被試人員五重性格各維度的評分。
目前，該系統(tǒng)已有實(shí)體店智慧零售、高中生心理健康測試等成功案例。例如在心理健康測試方面，AI 讀心師系統(tǒng)通過分析某高中一年級 1200 余名學(xué)生的信息，將 AI 得到的結(jié)果與調(diào)查問卷的結(jié)果相互驗(yàn)證，最終發(fā)現(xiàn) 17 疑似例抑郁癥樣本。
資料自來于：盧志武博士，雷鋒網(wǎng) AI 科技評論報(bào)道
參考文獻(xiàn)：
[1] Mingyu Ding, Yuqi Huo, Jun Hu, and Zhiwu Lu, DeepInsight: Multi-Task Multi-Scale Deep Learning for Mental Disorder Diagnosis, BMVC 2018.
[2] Mingyu Ding, An Zhao, Zhiwu Lu, Tao Xiang, and Ji-Rong Wen, Face-Focused Cross-Stream Network for Deception Detection in Videos, CoRR abs/1812.04429, 2018. 雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
