22
5月份的時候,雷鋒網(wǎng)曾報道,百度超級計算機Minwa在計算機視覺挑戰(zhàn)賽(ILSVRC)上取得了“世界最好的成績”,他們的系統(tǒng)在測試ImageNet分類數(shù)據(jù)集中的錯誤率僅為4.58%,擊敗了谷歌、微軟等競爭對手。
而在6月2日,ILSVRC的組織者指出,百度在測試過程中作弊,測試的頻率遠超規(guī)定次數(shù)。ImageNet允許參賽方每周提交兩組測試結(jié)果。然而,百度在3月份的5天內(nèi)提交了逾40次測試結(jié)果。據(jù)了解,負(fù)責(zé)這個項目的并不是來自百度深度學(xué)習(xí)研究院IDL的科學(xué)家,而是百度美國研發(fā)中心的異構(gòu)計算研究團隊。對此,百度承認(rèn)違規(guī)行為,并且已經(jīng)就此事道歉。
曾在ImageNet測試中獲勝的人工智能公司Clarifai CEO Matthew Zeiler表示:
“這種做法十分糟糕,這正是為什么要將測試數(shù)據(jù)獨立服務(wù)器上,并限制訪問次數(shù)的原因。如果你知道了測試數(shù)據(jù),你就會修改你的模型參數(shù),怎么優(yōu)化都可以。”
目前,ImageNet組織方已經(jīng)要求百度停止在明年提交ImageNet測試成績。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。