雷鋒網(wǎng) AI 科技評論按，近日，亞太地區(qū)數(shù)據(jù)挖掘領(lǐng)域的頂級國際會議——第 23 屆亞太地區(qū)知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會議（Pacific Asia Knowledge Discovery and Data Mining，PAKDD）在澳門成功舉行。本次大會，南京大學(xué)人工智能學(xué)院院長周志華首先做了開幕致辭，第四范式首席科學(xué)家楊強教授、普渡大學(xué)副教授 Jennifer Neville、羅格斯大學(xué)大學(xué)終身教授熊輝、羅維拉·維爾吉利大學(xué)名譽教授 Josep Domingo-Ferrer 等知名科學(xué)家先后在現(xiàn)場分享了對于知識挖掘領(lǐng)域最新的思考與技術(shù)進展。

除此之外，大會另一個重要看點是由第四范式、ChaLearn、微軟、亞馬遜聯(lián)合舉辦的「PAKDD 2019 AutoML Challenge」挑戰(zhàn)賽，現(xiàn)場公布了大賽最終成績并舉行了頒獎儀式，深蘭科技 DeepBlueAI 、微軟亞洲研究院、北航組成的 ML Intelligence 以及清華大學(xué)的 Meta_Learners 三只來自中國的隊伍包攬了本次比賽前三名，充分展示國內(nèi)在 AutoML 研究領(lǐng)域的實力。

據(jù)悉，本次 AutoML 大賽共吸引了全球 127 支隊伍參加，提交超 550 個競賽方案，最終有 31 支隊伍進入決賽進行最終的比拼。比賽共分為 Feedback phase、Test phase、AutoML phase 三個階段，最終成績按照 AutoML phase 的 AUC 結(jié)果進行評估排序得出，前三名成績排序在 Feedback phase、AutoML phase 兩個階段均一致。

本次比賽題目是貼近實際應(yīng)用的終身自動機器學(xué)習(xí)（AutoML for Lifelong Machine Learning），旨在解決實際應(yīng)用過程中，數(shù)據(jù)分布不斷變化的動態(tài)環(huán)境給自動化機器學(xué)習(xí)帶來的難題。在設(shè)計能夠自主實現(xiàn)終身機器學(xué)習(xí)的方案中，需兼顧計算效率、多種特征類型、概念漂移（Concept Drift）、終身機器學(xué)習(xí)設(shè)定等諸多挑戰(zhàn)。

以本次大賽冠軍 DeepBlueAI 方案為例，囊括了自動特征工程、自動特征選擇、自動模型調(diào)參、自動模型融合等步驟的 AutoML 框架，并對數(shù)據(jù)類別不均衡、概念漂移、時間空間等方面進行了針對性的處理和優(yōu)化，同時也有針對性的對概念漂移問題進行處理，并且利用了多種策略對運行時間和運行內(nèi)存進行了有效的控制，以確保解決方案能在規(guī)定時間和有限內(nèi)存下完成整個流程，并最終在挑戰(zhàn)賽中脫穎而出。

除了 DeepBlueAI 外，ML Intelligence 本次參賽方案也提供另一類的方法，我們都知道 AutoML 系統(tǒng)從每一批數(shù)據(jù)的輸入到每一批的輸出，實現(xiàn)端到端的自動化，完全不需要人參與，其中核心是自動算法，包括自動配置，自動調(diào)參，自動特征衍生和自動篩選等。本次競賽方案中，ML Intelligence 為了能適應(yīng)一個長時學(xué)習(xí)和在線學(xué)習(xí)的場景，能夠適應(yīng)特征或者樣本的概念漂移，提出了一種基于模型的 (model based) 的方法，這與傳統(tǒng)的基于分布 (distribution based) 的概念漂移檢測方法不同，不需要用人的經(jīng)驗來做一些分布指標就能夠?qū)崿F(xiàn)漂移特征的自動檢測。實際操作是訓(xùn)練一個特別簡單的 GBDT 模型，來區(qū)分兩個時間窗的樣本，通過特征重要性排序來排序分布偏移的大小。然后為了適應(yīng)場景，對高階衍生特征和原始重要特征做了不同的處理。

另外，Meta_Learners 團隊本次設(shè)計了一套基于梯度提升樹（Gradient Boosting Tree）、概念遷移自適應(yīng)的自動機器學(xué)習(xí)（AutoML）系統(tǒng)。在傳統(tǒng) AutoML 框架基礎(chǔ)上，結(jié)合本次比賽的特點進行了針對性的設(shè)計。首先，在特征工程方面針對類別特征高基數(shù)、長尾分布的特點采用了頻數(shù)編碼；并設(shè)計了自動特征工程模塊，可以針對不同數(shù)據(jù)集的特點，高效地提取出有助于提升模型預(yù)測效果的多種特征組合；在概念遷移自適應(yīng)方面，采用自適應(yīng)的流式協(xié)同編碼技術(shù)，提高數(shù)據(jù)集的表征一致性，從而提升了預(yù)測性能。在超參數(shù)調(diào)節(jié)上，團隊設(shè)計了一種結(jié)合了先驗知識和自動搜索的層次化自動調(diào)參策略，從而保障整個系統(tǒng)運行的效率和魯棒性。

盡管本次大賽周期覆蓋了中國春節(jié)假期以及學(xué)生的期末放假時期，但是競爭非常激烈；同時，由于 NeurIPS 2018 的冠軍隊伍也公布了他們的方案，我們也看到這一屆的前三效果都遠遠超出了 NeurIPS 2018 年的冠軍解決方案效果；在整體方案上，這次前三在時序特征處理、不平衡數(shù)據(jù)處理以及對概念漂移問題的處理相比 NeurIPS AutoML 的解決方案都有了非常多的創(chuàng)新與進步。

近年來，AutoML 學(xué)術(shù)研究和應(yīng)用逐漸從前沿研究邁入了行業(yè)主流發(fā)展的階段，越來越多的研究機構(gòu)和企業(yè)都紛紛開始 AutoML 的研究工作。PAKDD 2019 AutoML 挑戰(zhàn)賽是今年 AutoML 的首場挑戰(zhàn)賽，接下來會迎來今年 KDD CUP 2019 AutoML 和 NeurIPS 2019 AutoDL 兩場 AutoML 年度大賽，其中 KDD CUP 是首次舉辦 AutoML 挑戰(zhàn)賽，不僅開創(chuàng)了該項賽事 22 年歷史的先河，更印證了 AutoML 進入學(xué)術(shù)研究和行業(yè)應(yīng)用的上升期。

值得欣慰的是，AutoML 在國內(nèi)的發(fā)展一直處于領(lǐng)先水平。本次 PAKDD 2019 AutoML 競賽前三名被中國隊包攬，充分展示了中國在 AutoML 領(lǐng)域的科研實力。

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。