0
| 本文作者： 我在思考中 | 2022-01-24 15:15 |
作者 | 王磊
整理 | 維克多
這些模型的實際應用情況如何？它們能解決哪些實際問題？還有哪些不足？
2021年12月，平安科技前沿技術(shù)部門負責人王磊在 CNCC 2021“產(chǎn)業(yè)共話：大型預訓練模型的商業(yè)應用及技術(shù)發(fā)展方向”論壇上，做了《大規(guī)模預訓練模型金融領(lǐng)域應用中面臨的主要問題與應對技術(shù)探討》的報告。在報告中，他指出了當前大規(guī)模預訓練模型在垂直領(lǐng)域的“致命”問題，針對這些問題提出了平安科技的解決方案。
例如，他認為大規(guī)模預訓練模型在垂直領(lǐng)域性能達不到要求的原因可能是：“大規(guī)模預訓練模型的訓練語料庫規(guī)模很大，既包含了該領(lǐng)域的關(guān)鍵信息也包含了其他無關(guān)信息，使得模型缺少對關(guān)鍵信息的關(guān)注”，“當前大規(guī)模預訓練模型的機制改進也也很少涉及對關(guān)鍵信息的提取”。
基于此，王磊認為，大規(guī)模預訓練模型本質(zhì)上都是在處理信號，但只要是信號，就可能進行分解，將背景信息和垂直領(lǐng)域的信息分離開來，從而有效貼合下游場景。
另外，金融客戶對上線模型的精度要求很高，不少場景直接使用預加載模型往往很難滿足需求。王磊提出置信度評估方法，利用強化學習和Bagging思想評估模型靠譜程度。
以下是演講全文，AI科技評論做了不改變原意的整理。
本次分享的主題是《大規(guī)模預訓練模型金融領(lǐng)域應用中面臨的主要問題與應對技術(shù)探討》，主要以中國平安為案例，從問題背景、語義空間分解技術(shù)、置信度評估方法以及應用等幾個方面介紹。
在平安公司場景下，大規(guī)模預訓練模型在金融業(yè)務上的應用主要集中在貸款風控與股市投資。同時，這兩個領(lǐng)域近些年的建模在因子層面會比較依賴大數(shù)據(jù)，例如文本信息，使用預訓練模型進行處理能夠形成一些特征因子，從而方便分析理解。
大規(guī)模預訓練模型已經(jīng)在幾十個任務上刷榜，在醫(yī)療領(lǐng)域的表現(xiàn)更是令人瞠目結(jié)舌。但是深入到金融領(lǐng)域，其性能仍然無法滿足要求。以選股為例，傳統(tǒng)方法在信息獲取階段會人工從研報、雪球、知乎等論壇找尋一家公司的信息以及風評，然后結(jié)合基金經(jīng)理或投資人自己的判斷獲得對這家公司的洞察，從而決定是否買進。
由于金融領(lǐng)域的容錯性特別低，而且要求模型對專業(yè)知識有很深的理解。如果達不到一定的理解水平，從業(yè)者寧可不用AI模型。
一般而言，對于單任務，一個模型的性能能達到90%，但如果需要理解一段話或者一段專業(yè)評語，則需要三層模型才能形成一定的特征，這時模型性能就會下降為70%左右的水平。因此，在投資等要求嚴格的場景下，預訓練模型很難應用。
為什么會出現(xiàn)這種問題？個人認為，大規(guī)模預訓練模型的語料庫是大型文本，它注重廣度和背景，對于深度和細節(jié)較少關(guān)注。
以國內(nèi)企業(yè)研發(fā)的一些預訓練模型為例，其早期改進的方式都集中在Mask層面，而Msak機制更傾向于集中學習信息的廣度。而當模型應用到法律、醫(yī)學等領(lǐng)域時，更需要的是“深度”理解。
如何解決？目前有很多思路，例如加入專家知識，知識增強、混合訓練等等。目前，中國平安在探索語義空間分解技術(shù)和置信度評估方法。
大規(guī)模預訓練模型涵蓋了很多背景信息，那么能否進行再一次的分解，將背景信息和垂直領(lǐng)域的知識體系分離開來？分解不能沒有標準和依據(jù)，而大規(guī)模語言模型實際上是在處理信號，當模型理解信號的時候，雖然信息和語義仍然在，但卻在中間發(fā)生了各種形式的變換。因此，無論是哪種大模型，其本質(zhì)都是將信息或語義重新轉(zhuǎn)述為信號。
那么，既然是信號，就能夠進行分解。我們已經(jīng)嘗試了多種方式，其中一種做法是：基于國內(nèi)機構(gòu)提出的大規(guī)模預訓練模型，加入高中低濾波器，然后用自適應頻譜機制進行處理，可以理解為一個Attention機制，最后進入下游任務訓練。
經(jīng)過實驗表明，我們提出的頻譜分解網(wǎng)絡結(jié)構(gòu)（Filter-Loss和Filter-layer ） ，結(jié)合經(jīng)典語言模型訓練神經(jīng)網(wǎng)絡，在各類型任務中均可顯著提升語言模型能力。
更為具體，不僅是在垂直領(lǐng)域，改進后的語言模型在11個國際公開數(shù)據(jù)集上測試結(jié)果較BERT模型提升3-20%。這也證明，將語義空間進行分離，然后和下游任務結(jié)合的做法具有通用性。
在金融領(lǐng)域，無論模型達到什么樣的水準，其上限永遠是客戶需求。例如客戶的標準是95%的性能，而模型只能達到92%，僅僅差3個百分點，就會讓模型很難上線。這類問題在金融企業(yè)非常容易遇到。
為了解決上述問題，平安科技提出了基于置信度評估的方法，通過這種方法，模型可以評估其“靠譜程度”。如果靠譜程度高，就通過，如果低，那么就需要人類接手，或者直接放棄。因為很多場景并不是信息越多越好，信息冗余已經(jīng)成為了不可忽視的現(xiàn)象。
而且，還需要解決圍繞各類復雜經(jīng)濟主體的多源異構(gòu)大數(shù)據(jù)難以統(tǒng)一表述、信息難以整體耦合和關(guān)聯(lián)的問題。平安通過對數(shù)據(jù)標簽化提取的置信度技術(shù)研究，提升金融數(shù)據(jù)標簽化提取精度，提升流程自動化水平；通過對多尺度多維度融合語義關(guān)聯(lián)的經(jīng)濟主體表達技術(shù)的研究，構(gòu)建金融領(lǐng)域知識圖譜。
信度評估方法采用的是強化學習構(gòu)建置信度框架。主要分為三個部分：
1.用BERT等語言模型等抽取語義向量
2.利用雙向長短期記憶方式組合全局向量
3. 強化學習模塊根據(jù)人工打分擬合相關(guān)標準，輸出置信度分數(shù)。
此外，還可以嘗試通過Bagging思想構(gòu)建置信度框架。模型pipeline有4個階段：
1.利用Bagging思想，從數(shù)據(jù)中抽樣5份，訓練出5套模型參數(shù)；
2. 在少量測試集上測試各套參數(shù)性能，根據(jù)性能例如F1值，分配各模型置信度權(quán)重；
3. 各套參數(shù)選擇某個標簽后，在結(jié)果統(tǒng)計中累加對應參數(shù)權(quán)重；
4. 最終輸出累加置信度最高標簽。
經(jīng)過實驗證明，改進后的語言模型在語義相似度、多分類、語義蘊含等多類型國際公開數(shù)據(jù)集上測試精度較BERT模型的提升大多在10%-20%，但召回率下降20%-50%；在實際項目中從輿情中提取公司標簽的模型精度提升11個百分點，達到93%。
這在商業(yè)上非常有價值，例如雖然召回率降低了50個百分點，但意味著只有一半的模型需要人工干預，另一半的模型完全可以交給自動化，這遠比模型無法上線要好的多。
在金融領(lǐng)域，例如選股，模型的精準度是首先需要考慮的，其他指標可以稍差。例如從1000只備選股票中模型只選出了50只良好股票，可能會錯過50只良好股票。但這種錯過也是允許的，畢竟模型會“保證”選出來的50只股票大概率能夠賺錢或有超額收益。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
