AAAI 2023實用AI挑戰(zhàn)賽：打通學術與落地的橋梁

本文作者：嘉嘉

2022-11-18 14:23

導語：近年來，人工智能行業(yè)發(fā)展迅速，熱度居高不下，各種性能強大的算法和硬件層出不窮。但在“光鮮”外表之下，人工智能算法“落地難”的問題卻一直為人所詬病。歸根究底，是學

近年來，人工智能行業(yè)發(fā)展迅速，熱度居高不下，各種性能強大的算法和硬件層出不窮。但在“光鮮”外表之下，人工智能算法“落地難”的問題卻一直為人所詬病。歸根究底，是學術界在追求模型理論性能提升的同時，對于算法在實際工業(yè)場景的落地實踐有所欠缺，忽視了模型在不同硬件上的能力邊界。

為此，商湯科技聯(lián)合北航劉祥龍教授團隊，攜手安徽合肥數(shù)據(jù)空間研究院、天數(shù)智芯、科大訊飛、OpenI 啟智新一代人工智能開源開放平臺等機構與企業(yè)，在國際頂級人工智能會議AAAI 2023上舉辦實用AI挑戰(zhàn)賽，旨在搭建一座連通學術與工業(yè)化落地的橋梁，篩選出效果好、效率高、魯棒性強的模型設計，推動人工智能領域朝實用方向發(fā)展。

AAAI 2023實用AI挑戰(zhàn)賽：打通學術與落地的橋梁

依托商湯AI大裝置，商湯科技內(nèi)部自研的模型全生命周期效率提升工具-模型工廠，也將于本次比賽期間首次對外開放部分能力，其全流程、自動化、多硬件的人工智能部署和測試平臺，可用于評估包括算法速度、精度等多維度的實用性，快速篩選出高性能的人工智能模型。

在本次比賽中，我們選擇了在智慧安防、自動駕駛、手機、云計算四個熱門人工智能落地場景下使用的7個不同硬件平臺，這些硬件平臺在算力、算子支持和模型量化方案等方面各有不同。參賽隊伍將基于7個指定平臺展開角逐，充分考慮硬件特性，針對交通燈和交通標志識別任務，嘗試找出在各個平臺表現(xiàn)最優(yōu)異的模型，也可以嘗試設計多平臺通用的“全能”模型！

本次大賽依托“AAAI 2023 Workshop: Practical Deep Learning in the Wild”展開。獲獎隊伍將獲得豐厚獎金，還將受邀在workshop分享冠軍方案。大賽已正式啟動，查看文末網(wǎng)址或點擊閱讀原文，即刻報名參與。

賽題詳情

本次比賽共包含兩個賽道：單平臺高性能魯棒結構設計和跨平臺高性能魯棒結構設計。

賽道一：單平臺高性能魯棒結構設計

針對單一硬件平臺的最優(yōu)模型：不同的芯片支持的算子和數(shù)據(jù)類型以及算子的底層優(yōu)化機制均不相同，因此該賽道鼓勵參賽團隊根據(jù)不同的硬件芯片的特性，選擇特定芯片設計硬件相關的高性能網(wǎng)絡結構。

賽道二：跨平臺高性能魯棒結構設計

針對全部硬件平臺找到一個通用的高效魯棒模型：希望參賽團隊能夠綜合考慮不同芯片的硬件特性，設計一個在全部七個平臺通用的，高效魯棒模型結構。

賽題覆蓋多種場景和硬件架構，涉及的硬件平臺包括：

· 安防芯片：華為Atlas 300 / 瑞芯微 RV1126

· 云端GPU芯片：英偉達 Tesla T4

· 手機芯片：高通SNPE GPU、DSP

· 自動駕駛芯片：德州儀器TDA4VM

· 商湯自研推理芯片：商湯STPU S1

在數(shù)據(jù)集方面，基于商湯在自動駕駛領域多年積累，開放部分交通標志和信號燈數(shù)據(jù)集，聚焦真實場景問題。

比賽規(guī)則

比賽將系統(tǒng)評估模型的速度、精度和魯棒性三個方面。

比賽早期會分別釋放訓練數(shù)據(jù)，選手們僅能使用該階段提供的訓練數(shù)據(jù)對其設計的模型進行訓練，并用A榜驗證集評估模型在其實驗環(huán)境下的精度表現(xiàn)。為了篩選出具備魯棒性的參賽方案，最終排名會使用B榜測試集，該測試集包含硬件平臺自身的系統(tǒng)噪聲以及真實生活場景的自然噪聲。每個平臺會單獨評估選手提交模型的精度(presicion)和速度(latency)，并計算相對的精度得分和速度得分。

得益于商湯AI大裝置能力，比賽開放模型的速度測試和精度測試入口，選手每天可以通過比賽提供的測速服務和精度測試服務，快速驗證其設計的結構在不同硬件平臺的真實推理速度和精度。

獎項設置

比賽提供了總額達1.7萬美元的豐厚獎金池。

AAAI 2023實用AI挑戰(zhàn)賽：打通學術與落地的橋梁