0
| 本文作者： 貝爽 | 2020-09-20 20:53 |
AI時(shí)代下，人人都在講開源（Open Source）。
開源一詞，可以說(shuō)是近些年人工智能領(lǐng)域最熱門的主題詞之一。從概念上理解，開源全稱為開放源代碼，指企業(yè)/開發(fā)者/普通終端用戶能夠利用源代碼在其基礎(chǔ)上進(jìn)行修改和學(xué)習(xí)。
這一概念從提出至今，已經(jīng)歷三十年的發(fā)展。從最初Linux開源操作系統(tǒng)，到Github平臺(tái)社區(qū)的建立，再到Tenseflow等重量級(jí)框架的出現(xiàn)，國(guó)外早已形成一條完整的開源產(chǎn)業(yè)鏈；而反觀國(guó)內(nèi)，雖然起步較晚，但近些年也進(jìn)入了一個(gè)加速發(fā)展的階段。
從技術(shù)層面來(lái)看，如今大熱的大數(shù)據(jù)、區(qū)塊鏈、人工智能、物聯(lián)網(wǎng)領(lǐng)域，其中最重要、最受歡迎的技術(shù)都是開源的。從企業(yè)層面來(lái)看，騰訊開源萬(wàn)億級(jí)分布式消息中間件 TubeMQ，百度開源 PaddlePaddle ，一個(gè)比肩PyTorch、TensorFlow的國(guó)產(chǎn)深度學(xué)習(xí)框架，還有阿里、滴滴、小米等也都開源了很多軟件。
另外，除了這些互聯(lián)網(wǎng)巨頭外，也不斷有其他科技企業(yè)為開源加碼，其中，值得一提的是，曠視開源其深度學(xué)習(xí)框架——天元（MegEngine），這是國(guó)內(nèi)首家開源深度學(xué)習(xí)框架的AI獨(dú)角獸企業(yè)。
毋庸置疑的是，開源軟件已經(jīng)對(duì)人工智能產(chǎn)業(yè)發(fā)展形成了強(qiáng)大的推動(dòng)力量，由此，也吸引了越來(lái)越多的中堅(jiān)力量加入其中。 不過(guò)，從長(zhǎng)遠(yuǎn)來(lái)看，中國(guó)的開源產(chǎn)業(yè)還處于剛剛起步的階段，而且其中也面臨著諸如開源人才短缺、項(xiàng)目不足等挑戰(zhàn)。
因此，在機(jī)遇與挑戰(zhàn)并存的AI時(shí)代下，未來(lái)如何發(fā)展中國(guó)的開源產(chǎn)業(yè)，構(gòu)建開源生態(tài)是所有從業(yè)者需要思考和解決的問(wèn)題。
作為開源產(chǎn)業(yè)的積極倡導(dǎo)者，曠視在2020中關(guān)村論壇期間舉辦了一場(chǎng)平行分論壇，以“人工智能開源開放和生產(chǎn)力促進(jìn)”為主題，邀請(qǐng)了來(lái)自海內(nèi)外的數(shù)十位專家學(xué)者和企業(yè)代表，從自身學(xué)術(shù)觀點(diǎn)和產(chǎn)業(yè)實(shí)踐的角度出發(fā)，分享了各自對(duì)開源產(chǎn)業(yè)未來(lái)發(fā)展趨勢(shì)的獨(dú)到見解，以及如何通過(guò)軟件開源，技術(shù)協(xié)作助力人工智能產(chǎn)業(yè)落地等問(wèn)題的思考。
除此之外，在論壇上，曠視首席科學(xué)家孫劍博士還帶來(lái)了深度學(xué)習(xí)框架天元的重大技術(shù)升級(jí)。最后，論壇還設(shè)置了圓桌討論環(huán)節(jié)，邀請(qǐng)到七位資深專家探討了深度學(xué)習(xí)開源框架的深度趨勢(shì)和應(yīng)用落地。
9月18日上午9時(shí)許， 在曠視科技資深副總裁趙立威的主持下，嘉賓分享環(huán)節(jié)正式開啟，第一位分享的是中國(guó)工程院院士鄭南寧教授。
中國(guó)工程院院士鄭南寧：重塑 AI 的創(chuàng)新基礎(chǔ)：數(shù)據(jù)、算法和計(jì)算能力
鄭南寧教授指出，當(dāng)前以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)，正面臨著卷積神經(jīng)網(wǎng)絡(luò)帶來(lái)的局限性，以及如何應(yīng)對(duì)指數(shù)級(jí)復(fù)雜性任務(wù)的挑戰(zhàn)，而解決這些問(wèn)題，我們需要新的AI計(jì)算架構(gòu)。
在他看來(lái)，符號(hào)主義的基本問(wèn)題是，很難從低級(jí)信息直接形成符號(hào)實(shí)體，而連接主義的問(wèn)題是，缺乏推理和因果關(guān)系的表達(dá)能力，無(wú)法解釋決策背后的推理，無(wú)法表征人類的語(yǔ)言學(xué)習(xí)能力，難以實(shí)現(xiàn)高階的認(rèn)知功能，這就需要將符號(hào)主義算法與連接主義相結(jié)合去探索新的計(jì)算架構(gòu)。
對(duì)此，鄭南寧教授進(jìn)一步指出，
人類所需要解決的問(wèn)題具有不確定性和開放性，任何機(jī)智能機(jī)器都無(wú)法完全取代人類在現(xiàn)實(shí)世界的交互，那么，如何恰如其分地把人的作用引到人工智能系統(tǒng)中，建立新的混合增強(qiáng)的人工智能框架，是一個(gè)非常值得探索的重要方向。
最后，他強(qiáng)調(diào)框架開源對(duì)推動(dòng)人工智能發(fā)展至關(guān)重要。人工智能生態(tài)系統(tǒng)的發(fā)展可以統(tǒng)稱為AI堆棧，通常由三個(gè)組件來(lái)構(gòu)成，一是基礎(chǔ)設(shè)施，二是開發(fā)環(huán)境；三是業(yè)務(wù)線的應(yīng)用程序和服務(wù)。其中，應(yīng)用程序的開源庫(kù)，指的就是Tensorflow、Caffe等深度學(xué)習(xí)開源框架，它是人工智能技術(shù)發(fā)展所需工具和技術(shù)主要來(lái)源。
因此，他表示，曠視天元等國(guó)產(chǎn)深度學(xué)習(xí)框架選擇開源，對(duì)提高我國(guó)人工智能的核心競(jìng)爭(zhēng)力，對(duì)AI生產(chǎn)力發(fā)展及生態(tài)建設(shè)都具有重大意義。
清華大學(xué)高等研究院雙聘教授沈向洋：AI 科技：人才 發(fā)展 創(chuàng)新
沈向洋教授圍繞人才、發(fā)展和創(chuàng)新三個(gè)主題詞講述了當(dāng)前人工智能發(fā)展面臨的機(jī)遇和挑戰(zhàn)。
第一，如何把人口紅利變成工程師紅利，培養(yǎng)AI人才。他認(rèn)為，應(yīng)該培養(yǎng)學(xué)生讀論文、作實(shí)驗(yàn)、寫論文和作報(bào)告的能力，除此之外，還要培養(yǎng)學(xué)生基本的團(tuán)隊(duì)協(xié)作和溝通的能力。
第二，如何從深度學(xué)習(xí)到深度理解，促進(jìn)AI發(fā)展。在過(guò)去幾年，在大數(shù)據(jù)、算法的支持下，感知智能取得飛速發(fā)展，尤其是在計(jì)算機(jī)視覺、語(yǔ)言識(shí)別領(lǐng)域。對(duì)于人工智能下一階段的發(fā)展，沈向洋認(rèn)為將會(huì)聚焦于認(rèn)知智能，包括從認(rèn)知模型到常識(shí)建模、到因果推理都是重要的研究方向。而且，自然語(yǔ)言處理將在其中發(fā)揮核心作用。
如他所說(shuō)，“從感知到認(rèn)知，懂語(yǔ)言者得天下，我們必須要把自然語(yǔ)言里的認(rèn)知問(wèn)題搞清楚”。雖然諸如GPT-3、BERT等超大模型已經(jīng)在語(yǔ)言處理方面表現(xiàn)出了驚人的性能，但他相信，它們的理解還是遠(yuǎn)遠(yuǎn)不夠的，未來(lái)還會(huì)有更多混合模型的方法被提出。
第三，在創(chuàng)新層面，未來(lái)中國(guó)的開源應(yīng)該如何做？沈向洋認(rèn)為首先開源是文化問(wèn)題，我們要認(rèn)識(shí)到開源不僅是抄代碼，更重要的是貢獻(xiàn)代碼，甚至是引領(lǐng)開源項(xiàng)目，在這一點(diǎn)上，百度、阿里、曠視等科技公司做了很多工作，是我們學(xué)習(xí)的榜樣；另外，是創(chuàng)造更多的工具和平臺(tái)，與國(guó)際現(xiàn)有平臺(tái)接軌，同時(shí)，為開發(fā)者提供更多創(chuàng)新和創(chuàng)新的機(jī)會(huì)。
清華大學(xué)計(jì)算機(jī)系副主任，教育部長(zhǎng)江學(xué)者特聘教授胡事民：機(jī)器學(xué)習(xí)框架"計(jì)圖"的創(chuàng)新與探索
胡事民教授主要通過(guò)計(jì)圖的研發(fā)歷程，講述了高校如何做深度學(xué)習(xí)框架的技術(shù)創(chuàng)新。教授介紹稱，計(jì)圖框架支持30多個(gè)骨干網(wǎng)絡(luò)，27種GAN模型以及更多的AI應(yīng)用。其內(nèi)部框架分為系統(tǒng)層、計(jì)算圖層以及算子層，在這其中，我們做了很多創(chuàng)新工作。
首先是算子層，Tensorflow有2000多個(gè)算子，不但難維護(hù)而且管理成本高。計(jì)圖在這里發(fā)現(xiàn)了一個(gè)更優(yōu)的解決方案，即可以把其中最簡(jiǎn)單的計(jì)算提煉出18個(gè)，稱為元算子，再通過(guò)與其他算子組合再做算法。
另外是計(jì)算圖的問(wèn)題。計(jì)圖通過(guò)結(jié)合Google靜態(tài)圖和Facebook動(dòng)態(tài)圖的優(yōu)勢(shì)，提出了一種統(tǒng)一計(jì)算圖的概念，即通過(guò)元算力理論，將其做成局部靜態(tài)優(yōu)化，可以在提高性能的同時(shí)，增強(qiáng)靈活性。
對(duì)于框架下一步的研發(fā)方向，教授認(rèn)為會(huì)聚焦在可微編程技術(shù)，如圖靈獎(jiǎng)獲得者LeCun教授所說(shuō)，“深度學(xué)習(xí)已死，可維編程萬(wàn)歲”。在他看來(lái)，目前深度學(xué)習(xí)的框架提供的可微模塊和算子需要優(yōu)化訓(xùn)練，隨著任務(wù)越來(lái)越復(fù)雜，比如渲染、幾何、物理模擬等可能無(wú)法實(shí)現(xiàn)，那么，我們就需要自底向上搞一套可微編程的東西，這非常重要。
最后，教授強(qiáng)調(diào)，中國(guó)的深度學(xué)習(xí)框架不是多了，而是少了，只有百花爭(zhēng)鳴才能共同發(fā)展，另外，無(wú)論是企業(yè)還是開發(fā)者都應(yīng)該積極擁抱開源，互相支持，共同發(fā)展，才能使中國(guó)人工智能做得更好，走得更穩(wěn)。
中移系統(tǒng)集成有限公司副總經(jīng)理王昀：共建5G新生態(tài) 共贏智慧新時(shí)代
王昀提出，5G是一個(gè)新的開端，之前3G、4G移動(dòng)互聯(lián)網(wǎng)是為個(gè)人娛樂(lè)服務(wù)的，而5G將通過(guò)與人工智能結(jié)合，為整個(gè)工業(yè)互聯(lián)網(wǎng)服務(wù)，為整個(gè)社會(huì)的千行百業(yè)服務(wù)，它會(huì)提高整個(gè)國(guó)民經(jīng)濟(jì)生產(chǎn)要素的效率和組織能力，這對(duì)于社會(huì)的回報(bào)是非常高的。
當(dāng)然高回報(bào)的同時(shí)，也意味著高投入，截止到2025年，僅三個(gè)運(yùn)營(yíng)商，5G網(wǎng)絡(luò)建設(shè)投資累計(jì)將達(dá)到1.2億
隨后，王昀介紹了當(dāng)前中國(guó)移動(dòng)在5G網(wǎng)絡(luò)技術(shù)上的最新進(jìn)展：
在技術(shù)上，中國(guó)移動(dòng)的5G專利多達(dá)1700多項(xiàng)，在全球運(yùn)營(yíng)商里排名第一。
在能力上，將5G與AI結(jié)合，將產(chǎn)生的海量數(shù)據(jù)，再次通過(guò)人工智能技術(shù)應(yīng)用到工業(yè)、港口、礦山、輪船等各行各業(yè)中，真正實(shí)現(xiàn)通信能力與AI能力的結(jié)合。
在生態(tài)上，中國(guó)移動(dòng)已經(jīng)與國(guó)內(nèi)很多AI企業(yè)達(dá)成了合作關(guān)系。
隨后，王昀具體介紹了中國(guó)移動(dòng)在數(shù)字城市、數(shù)字政府等方向上，利用AI與5G結(jié)合的應(yīng)用案例。目前中國(guó)移動(dòng)已經(jīng)形成了完整的人工智能產(chǎn)品體系，未來(lái)他表示，希望通過(guò)與更多企業(yè)合作真正，讓該產(chǎn)品真正落地，賦能百業(yè)。他說(shuō)，
中國(guó)移動(dòng)在融入千行百業(yè)，每個(gè)行業(yè)都有不同的應(yīng)用，不同的合作伙伴，不同的需求，我們除了做中間的平臺(tái)，做底層5G網(wǎng)絡(luò)和物聯(lián)網(wǎng)的接入之外，我們希望和學(xué)校，相應(yīng)的AI公司和政府能協(xié)同起來(lái)。
Imagination全球副總裁Andrew Grant ：在邊緣側(cè)神經(jīng)網(wǎng)絡(luò)處理器IP中使用開源的AI 框架
Andrew Grant主要講述了開源AI框架在邊緣側(cè)神經(jīng)網(wǎng)絡(luò)處理器IP中的使用，如何有效地集成到多個(gè)AI框架，以及開源社區(qū)的價(jià)值等三個(gè)方面。
Grant強(qiáng)調(diào)，邊緣側(cè)AI推理從根本上承擔(dān)了以前僅適用于云的工作負(fù)載，它通過(guò)在所有類型的設(shè)備中嵌入高性能推理，為移動(dòng)、工業(yè)、安全、物聯(lián)網(wǎng)等多個(gè)產(chǎn)業(yè)發(fā)展帶來(lái)了新機(jī)遇。接下來(lái)，他具體從邊緣推理加速器、GPU等方面進(jìn)行了論述。
首先，邊緣側(cè)推理加速器具有4-16位的可變帶寬，其動(dòng)態(tài)定點(diǎn)數(shù)據(jù)類型，可以幫助用戶優(yōu)化精度，并具有高度確定性。它還為Android NN提供過(guò)濾器目數(shù)選擇，為Tensorflow Lite帶來(lái)兼容性和更好的量化特性。因此，IMG的邊緣側(cè)加速器，即NNA，具有很高的PPA效率，可擴(kuò)展并且支持多實(shí)例。
另外，在GPU方面，當(dāng)我們構(gòu)建AI Synergy方法以利用Hyperlane技術(shù)時(shí)，浮動(dòng)任務(wù)可以在GPU上運(yùn)行而且您可以使用Khronos的行業(yè)標(biāo)準(zhǔn)API，包括OpenGLES、OpenCL和Vulkan，而Imagination公司的GPGPU可以補(bǔ)強(qiáng)Imagination NNA，在運(yùn)行不同的工作負(fù)載時(shí)，每個(gè)負(fù)載都針對(duì)特定IP進(jìn)行了優(yōu)化。
IMG DNN API是一個(gè)單獨(dú)的IPI，它使開發(fā)人員只需最少的代碼更改即可輕松地將應(yīng)用程序從GPU移植到NNA，從而使開發(fā)人員能夠啟用軟件和工具。
隨后，教授介紹了如何使用開源工具建構(gòu)神經(jīng)網(wǎng)絡(luò)生態(tài)的示例。與此同時(shí)，他也強(qiáng)調(diào)，開源是創(chuàng)新和機(jī)器學(xué)習(xí)發(fā)展的最有效的手段。
MLPerf負(fù)責(zé)人David Kanter ：加速機(jī)器學(xué)習(xí)的創(chuàng)新
David Kanter主要分享了關(guān)于機(jī)器學(xué)習(xí)的潛能，以及全社會(huì)如何通過(guò)開源共享成果，進(jìn)而讓機(jī)器學(xué)習(xí)發(fā)揮更大價(jià)值。在他看來(lái)，機(jī)器學(xué)習(xí)的發(fā)展和應(yīng)用，存在三個(gè)關(guān)鍵點(diǎn)：
第一是基準(zhǔn)和指標(biāo)，它可以讓研究人員、市場(chǎng)客戶與供應(yīng)商之間形成共識(shí)，并得到統(tǒng)一且最優(yōu)的解決方案。
第二是實(shí)現(xiàn)開源開放。通過(guò)Tensorflo和PyTorch等開源框架，以及大規(guī)模數(shù)據(jù)集的共享，加速整個(gè)行業(yè)的發(fā)展。例如ImageNet數(shù)據(jù)集的出現(xiàn)，推動(dòng)了計(jì)算機(jī)視覺領(lǐng)域的發(fā)展。
第三是最佳實(shí)踐。更多的開發(fā)者能夠基于最好的機(jī)器模型進(jìn)行訓(xùn)練和部署，幫助減少使用機(jī)器學(xué)習(xí)模型的阻力并復(fù)現(xiàn)。例如Linux項(xiàng)目，正式通過(guò)開源社區(qū)的開發(fā)者們不斷下載、優(yōu)化、上傳而最終實(shí)現(xiàn)的。
最后，Kanter強(qiáng)調(diào)無(wú)論是自動(dòng)駕駛、翻譯、醫(yī)療診斷還是圖像技術(shù)，機(jī)器學(xué)習(xí)都能夠發(fā)揮重要作用，而開源開放平臺(tái)，以及最佳實(shí)踐和行業(yè)標(biāo)準(zhǔn)正式推動(dòng)其發(fā)展的核心力量，希望能夠有更多的開發(fā)者參與到其中。
在嘉賓們分享結(jié)束后，曠視研究院院長(zhǎng)、首席科學(xué)家孫劍重磅發(fā)布了曠視天元（MegEngine）1.0預(yù)覽版。
今年3月份，曠視正式開源了其自研深度學(xué)習(xí)框架—曠視天元（MegEngine）。該命名取自棋盤的中心點(diǎn)，在之后的6個(gè)月內(nèi)，天元經(jīng)歷了多項(xiàng)技術(shù)升級(jí)和多次版本迭代。
此前，6月份更新的Beta版重點(diǎn)優(yōu)化了三方面的特性，一是支持各種ARM系列的CPU，二是量化訓(xùn)練模型的推理功能，三是性能優(yōu)化，這次的1.0預(yù)覽版在此基礎(chǔ)上，圍繞訓(xùn)練一體，全平臺(tái)高效支持、動(dòng)靜結(jié)合三大核心優(yōu)勢(shì)，進(jìn)一步帶來(lái)了5項(xiàng)技術(shù)升級(jí)。
全新Imperative Runtime：解決資源釋放問(wèn)題，改善動(dòng)態(tài)圖的特性。
自動(dòng)代碼剪裁：最小化推理時(shí)的代碼體積，提升端側(cè)推理效率。
推理性能優(yōu)化：推出近十種推理優(yōu)化方法，端側(cè)推理性能進(jìn)一步提升。
國(guó)產(chǎn)硬件支持：支持更多國(guó)產(chǎn)AI芯片，推理更高效。
基于MLIR的靜態(tài)子圖優(yōu)化引擎：融合編譯器最新算子優(yōu)化方式，提升深度學(xué)習(xí)訓(xùn)練和推理速度。
曠視一直強(qiáng)調(diào)，“訓(xùn)練一體，為產(chǎn)業(yè)應(yīng)用而生”，是天元框架的最大特色，也是天元開源的初心。在論壇上，孫劍博士針對(duì)這一點(diǎn)做了具體的分享，在框架的生態(tài)建設(shè)方面，天元提供大量的圖像分類、圖像檢測(cè)、圖像分割、關(guān)鍵點(diǎn)、自然語(yǔ)言處理、生成對(duì)抗網(wǎng)絡(luò)等基礎(chǔ)預(yù)訓(xùn)練模型；在開源生態(tài)方面，與小米的MACE，Open AI的Tengine等不同的深度學(xué)習(xí)端側(cè)推理引擎達(dá)成合作；在開發(fā)者方面，提出培訓(xùn)和激勵(lì)計(jì)劃，推動(dòng)其發(fā)展和衍生等。
同時(shí)，他也強(qiáng)調(diào)未來(lái)天元還會(huì)不斷進(jìn)行技術(shù)升級(jí)和版本迭代。
目前AI領(lǐng)域不乏一些重量級(jí)的深度學(xué)習(xí)開源框架，比如主流的Tensorflow、PyTorch以及國(guó)產(chǎn)新秀PaddlePaddle等。那么，如何在未來(lái)的技術(shù)迭代上，持續(xù)保持自己的核心優(yōu)勢(shì)，擴(kuò)大產(chǎn)業(yè)應(yīng)用范圍？是曠視需要面對(duì)的問(wèn)題。
對(duì)此，孫劍博士也分享了三點(diǎn)思考，他表示，真正提高AI生產(chǎn)力平臺(tái)，標(biāo)準(zhǔn)化深度學(xué)習(xí)開發(fā)流程將是首要的發(fā)力方向；其次，編譯器技術(shù)在深度學(xué)習(xí)框架領(lǐng)域逐漸成為趨勢(shì)，曠視也會(huì)在這個(gè)方向上加大投入力度；最后是AI芯片，曠視的目標(biāo)是實(shí)現(xiàn)AI芯片去黑盒化，在框架中支持不同類型的AI芯片，以提高訓(xùn)練和推理性能。
最后，值得一提的是，除了開源開放促進(jìn)AI產(chǎn)業(yè)落地外，曠視創(chuàng)始人兼CTO唐文斌還正式發(fā)布了“人工智能加速計(jì)劃”，進(jìn)一步從技術(shù)開源開放、人才培養(yǎng)和產(chǎn)業(yè)標(biāo)準(zhǔn)定制兩個(gè)方面助力AI與傳統(tǒng)產(chǎn)業(yè)的深度融合。
在開源開放方面，曠視還推出了Brain++商業(yè)版，幫助企業(yè)快速、高效低建立AI基礎(chǔ)設(shè)施。據(jù)驗(yàn)證，Brain++可有效縮短80%算法從需求到落地時(shí)間，整體降低55%的算法生產(chǎn)成本。
在人才培養(yǎng)方面，曠視通過(guò)“辰星計(jì)劃”，培養(yǎng)3000名AI人才；通過(guò)企業(yè)培訓(xùn)，培養(yǎng)1萬(wàn)名能夠通過(guò)Brain++完成算法生產(chǎn)的AI人才。
在產(chǎn)業(yè)標(biāo)準(zhǔn)制定上，曠視已經(jīng)參與了一系列國(guó)內(nèi)外的AI產(chǎn)業(yè)標(biāo)準(zhǔn)制訂，未來(lái)將在基礎(chǔ)技術(shù)互通標(biāo)準(zhǔn)，AI行業(yè)應(yīng)用標(biāo)準(zhǔn)，AI治理標(biāo)準(zhǔn)等多個(gè)方面上繼續(xù)發(fā)力，與合作伙伴共同推動(dòng)行業(yè)的良性發(fā)展。
在曠視高級(jí)副總裁趙立威的主持下，論壇進(jìn)入了最后的高峰對(duì)話環(huán)節(jié)。該環(huán)節(jié)圍繞“深度學(xué)習(xí)開源框架的技術(shù)趨勢(shì)及應(yīng)用”，邀請(qǐng)了來(lái)自產(chǎn)業(yè)界和學(xué)界的7位重量級(jí)嘉賓展開深度探討。
他們分別是清華大學(xué)計(jì)算機(jī)系教授唐杰，寒武紀(jì)副總裁劉道福，北京一流科技有限公司創(chuàng)始人袁進(jìn)輝，曠視研究院高級(jí)技術(shù)總監(jiān)田忠博，小米深度學(xué)習(xí)框架負(fù)責(zé)人何亮亮，OPEN AI LAB（開放智能）Tengine產(chǎn)品負(fù)責(zé)人程實(shí)，北京燧原智能科技有限公司首席架構(gòu)師李翔。
趙立威提問(wèn)：最近發(fā)布的GPT-3，含有1750億參數(shù)，模型大小達(dá)到了700個(gè)G，一次訓(xùn)練成本高達(dá)上百萬(wàn)美元，各位如何看待現(xiàn)在神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)量參數(shù)、訓(xùn)練成本不斷上升的趨勢(shì)？
唐杰：其實(shí)，回過(guò)頭來(lái)看近10年的發(fā)展歷程，從最初的計(jì)算上云，到數(shù)據(jù)上云，云端存儲(chǔ)和共享已經(jīng)成為計(jì)算機(jī)發(fā)展的一種必然趨勢(shì)。從這個(gè)角度來(lái)看，如果未來(lái)語(yǔ)言模型上云，GPT-3相當(dāng)于給全世界訓(xùn)練了一個(gè)語(yǔ)言模型，那么在某種程度上，它的成本并不高，或者還可以說(shuō)降低了。而且我們不需要每個(gè)人都去維護(hù)一個(gè)大數(shù)據(jù)，維護(hù)一個(gè)計(jì)算資源，或者維護(hù)一個(gè)訓(xùn)練模型，這樣還可以把更多的資源和精力放在算法研發(fā)和產(chǎn)品落地上。
李翔：我想說(shuō)的是BERT模型，事實(shí)證明，在NLP領(lǐng)域陷入瓶頸時(shí)，谷歌提出這樣一種簡(jiǎn)單粗暴的方法是可行的。即把一些簡(jiǎn)單結(jié)構(gòu)變成一個(gè)大的模型，直接利用算力來(lái)解決問(wèn)題。這種方法其實(shí)也帶給我們一些啟發(fā)，當(dāng)我們?cè)趹?yīng)用領(lǐng)域的研發(fā)非常困難時(shí)，利用硬件優(yōu)勢(shì)解決問(wèn)題可能更加有效，所以，我覺得GPT-3之后，還會(huì)有更多更大的模型出現(xiàn)，這是一種趨勢(shì)。還有另外一種趨勢(shì)是很多研發(fā)人員愿意通過(guò)壓縮、量化的方法來(lái)減少算力的需求，我覺得這兩種趨勢(shì)可能會(huì)相輔相成，相互促進(jìn)。
趙立威提問(wèn)：在深度學(xué)習(xí)框架領(lǐng)域，接下來(lái)最重要的技術(shù)創(chuàng)新方向有哪些？
何亮亮：我想突出的一點(diǎn)是，在深度學(xué)習(xí)框架領(lǐng)域，創(chuàng)新從未停止，當(dāng)“破壞式”創(chuàng)新出現(xiàn)的時(shí)候，可能會(huì)顛覆整個(gè)生態(tài)。比如，今天很多學(xué)界和工業(yè)界，因?yàn)镻yTorch的技術(shù)創(chuàng)新而改變了生態(tài)。另外，深度學(xué)習(xí)編譯，包括單設(shè)備編譯以及分布式編譯，也出現(xiàn)了很多創(chuàng)新的想法。比如，微軟研究院最近開源一項(xiàng)最新編譯技術(shù)，相信兩個(gè)月文章后發(fā)表會(huì)引起編譯技術(shù)重要變革。
田忠博：在深度學(xué)習(xí)領(lǐng)域，有很多值得關(guān)注的技術(shù)，如大規(guī)模并行、芯片適配，但我認(rèn)為最重要的是框架的編譯器化，它代表著一個(gè)全新的范式，一個(gè)本質(zhì)的變革。
就像沈向洋來(lái)時(shí)所說(shuō)智能來(lái)自代碼，人工智能產(chǎn)業(yè)本質(zhì)上是由生產(chǎn)出來(lái)的代碼支撐的，而編譯技術(shù)就是生產(chǎn)代碼最重要的技術(shù)之一。我相信框架編譯器化是未來(lái)的趨勢(shì)。我們?cè)谔煸?.0版中引入MLIR技術(shù)，也是希望能夠和編譯器的社區(qū)做更深入的探索。
趙立威提問(wèn)：業(yè)界非常關(guān)注這幾家企業(yè)為什么要開源自己的框架，背后的思考過(guò)程是什么？與公司商業(yè)化是否能夠形成閉環(huán)？
田忠博：我覺得我們開源天元是為了曠視人、為了中國(guó)人的技術(shù)理想，我們希望能夠在這里表達(dá)自己的聲音，能夠把我們的技術(shù)理念更好的傳播給大家，為了更好的人工智能的未來(lái)。
袁進(jìn)輝：很多框架研發(fā)者都是算法科學(xué)家出身，他們做框架是給自己用的，因?yàn)閯e人的框架不滿足不了需求，那么為什么還要開源呢？我理解的是，開源是非常好的軟件分發(fā)手段，它能直接和用戶、場(chǎng)景發(fā)生關(guān)聯(lián)。這就像如今的自媒體直播一樣，它能夠讓更多有才華的人有展示的機(jī)會(huì)。
趙立威提問(wèn)：計(jì)算機(jī)研究在工業(yè)界和學(xué)界的差距究竟有多大，如何克服并搭建溝通二者的橋梁，包括學(xué)術(shù)界、工業(yè)界對(duì)技術(shù)成熟度的判斷是否有標(biāo)準(zhǔn)上的差異呢？
唐杰：最近幾年，學(xué)術(shù)界在算法方便做了很多引領(lǐng)性的工作，包括CVPR、ICCV收錄的論文數(shù)量爆增，其中有很多重磅的研究成果。同樣，工業(yè)界也做出了很大貢獻(xiàn)，尤其是在數(shù)據(jù)規(guī)模、算力、算法方面。
最近幾年，AI發(fā)展逐漸進(jìn)入一個(gè)Stable穩(wěn)定期，學(xué)術(shù)界開始做一些fundamental的研究，側(cè)重挖掘理論研究背后的本質(zhì)東西，而產(chǎn)業(yè)界更加關(guān)注場(chǎng)景落地，比如，算法是否能為工業(yè)帶來(lái)真正價(jià)值，節(jié)省成本或者更高的收入，更多的是從經(jīng)濟(jì)角度去衡量，這是學(xué)術(shù)界和工業(yè)界之間形成的Gap。
那么如何Bridge二者之間的Gap，我覺得這是一件很難的事情，如果學(xué)術(shù)界和工業(yè)界耦合太緊，一定會(huì)走向兩個(gè)極端，學(xué)術(shù)界會(huì)繼續(xù)看十年、甚至二十年的東西，而工業(yè)會(huì)繼續(xù)研究現(xiàn)實(shí)的場(chǎng)景落地，所以，接下來(lái)的紀(jì)念，二者之間的Gap會(huì)越來(lái)越大，這是我的一個(gè)大膽預(yù)判。
趙立威提問(wèn)：AI作為一種新的生產(chǎn)力，我們的共識(shí)是它將在不久的未來(lái)重塑所有的傳統(tǒng)行業(yè)，當(dāng)然在落地過(guò)程中又面臨場(chǎng)景、人才以及需求、部署、成本這些挑戰(zhàn)。未來(lái)我們要如何解決這些挑戰(zhàn)？
田忠博：我認(rèn)為智能時(shí)代的深度學(xué)習(xí)技術(shù)就像工業(yè)時(shí)代的電，會(huì)從最初有限的應(yīng)用范圍，擴(kuò)展到我們?nèi)粘Ｉ畹拿糠置棵胫?。?duì)于AI落地過(guò)程中的挑戰(zhàn)，我們應(yīng)該從以下幾個(gè)方面考慮：第一，需要有完整、全面地從生產(chǎn)到應(yīng)用的整體解決方案；第二，需要足夠多的AI人才，我們可以通過(guò)不斷地培訓(xùn)，為社會(huì)輸送高質(zhì)量人才；第三，推動(dòng)AI技術(shù)在各個(gè)行業(yè)的滲透率，讓更多開發(fā)者低成本享用到最新技術(shù)，這樣才能和整個(gè)智能時(shí)代的發(fā)展相輔相成。
何亮亮：我談兩個(gè)目前存在的挑戰(zhàn)，一是算法能力和產(chǎn)品落地Gap的問(wèn)題；二是企業(yè)部署成本的問(wèn)題。前者簡(jiǎn)單說(shuō)，就是懂產(chǎn)品的人不懂算法，懂算法的人沒(méi)有產(chǎn)品意識(shí)。為了解決這個(gè)問(wèn)題，我們一方面是鼓勵(lì)算法和產(chǎn)品部門加強(qiáng)交流；二是補(bǔ)齊他們各自的短板，比如鼓勵(lì)產(chǎn)品人去了解相機(jī)的算法、可穿戴設(shè)備的算法等。
后者部署成本問(wèn)題，可以分解為兩個(gè)方面：一是固定成本，二是可變成本。固定成本，我們需要提升研發(fā)的效率，像數(shù)據(jù)平臺(tái)化，計(jì)算平臺(tái)化等能夠提升數(shù)據(jù)采集和算法研發(fā)的效率?？勺兂杀?，就是硬件成本，在保證算法效果前提下能使用更好的算力，這可以通過(guò)模型的量化壓縮和自動(dòng)化機(jī)器學(xué)習(xí)的方法來(lái)減少模型對(duì)算力的要求。
AI時(shí)代下，開源開放與生態(tài)建設(shè)正在蓄勢(shì)待發(fā)。
無(wú)論是從開發(fā)者、企業(yè)，還是整個(gè)AI產(chǎn)業(yè)發(fā)展的角度來(lái)講，開源開放在其中都發(fā)揮著巨大的價(jià)值和潛力，這一點(diǎn)從學(xué)術(shù)界及產(chǎn)業(yè)界的嘉賓分享中可以洞見。
另外，曠視開源天元框架也再次印證了這一點(diǎn)。與科技巨頭們不同，天元框架對(duì)于這家僅成立九年的公司來(lái)說(shuō)，不僅是其Brain++平臺(tái)的核心組件，也是驅(qū)動(dòng)其從創(chuàng)業(yè)成長(zhǎng)為AI獨(dú)角獸的核心引擎。
而曠視選擇開源，一方面是對(duì)技術(shù)和產(chǎn)品的信心，而另一方面是看到了開源背后的“多贏效應(yīng)”。
不過(guò)，要想在中國(guó)形成一條完整的開源產(chǎn)業(yè)鏈還有很長(zhǎng)的路要走。從論壇中的分享來(lái)看，為應(yīng)對(duì)當(dāng)前開源產(chǎn)業(yè)面臨的挑戰(zhàn)，主要解決方案聚焦于以下三點(diǎn)：
在人才方面：引導(dǎo)開發(fā)者參與開源項(xiàng)目，實(shí)現(xiàn)從抄代碼，貢獻(xiàn)代碼、到開發(fā)項(xiàng)目的躍遷。
在企業(yè)方面：搭建類似于Github的開源平臺(tái)，研發(fā)并開源更多的工具和技術(shù)。
在生態(tài)方面：打通技術(shù)、企業(yè)合作的上下游，構(gòu)建開源社區(qū)，推動(dòng)中國(guó)開源軟件基金會(huì)的建立等。
以上方案中，企業(yè)無(wú)疑發(fā)揮著中堅(jiān)力量。如果開源開放產(chǎn)業(yè)是未來(lái)不可逆的大趨勢(shì)，那么，企業(yè)是否越早布局越好？
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
