6月28日，稀土掘金技術(shù)社區(qū)主辦的第四屆稀土開發(fā)者大會(huì)（XDC 2024）盛大開幕。五位技術(shù)嘉賓圍繞“代碼不止 掘金不?！敝黝}，分享了開源生態(tài)、新技術(shù)發(fā)現(xiàn)及應(yīng)對(duì)技術(shù)變革的策略，期望與開發(fā)者們共同探尋前行方向。

來(lái)自英特爾公司副總裁、英特爾中國(guó)軟件與先進(jìn)技術(shù)事業(yè)部總經(jīng)理李映帶來(lái)了主題《開放生態(tài)，賦能創(chuàng)新：英特爾如何通過(guò)開源開放推動(dòng)GenAI 產(chǎn)業(yè)生態(tài)繁榮》。會(huì)上，他分享了英特爾公司通過(guò)技術(shù)趨勢(shì)引領(lǐng)和開源社區(qū)建設(shè)、推動(dòng)社區(qū)繁榮、在硬件支持和創(chuàng)新項(xiàng)目培育等方面做的為行業(yè)做的貢獻(xiàn)。通過(guò)社區(qū)治理和創(chuàng)新項(xiàng)目如Jeddak數(shù)據(jù)安全沙箱、火山引擎云服務(wù)資源管理等，李映展示了硬件級(jí)安全方案和資源管理的重要性。

展望2024年，英特爾計(jì)劃通過(guò)開放生態(tài)系統(tǒng)解鎖企業(yè)人工智能，推動(dòng)異構(gòu)計(jì)算AI加速框架，與Linux Foundation等合作伙伴共同構(gòu)建開放、標(biāo)準(zhǔn)的多架構(gòu)加速計(jì)算生態(tài)系統(tǒng)。

公司副總裁、英特爾中國(guó)軟件與先進(jìn)技術(shù)事業(yè)部總經(jīng)理李映

Google Cloud亞太區(qū)解決方案副總裁 Moe Abdula帶來(lái)了《Beyond the Hype: Trends, Best Practices, and GenAI Adoption with Google Cloud》主題演講。

他深入剖析了生成式AI對(duì)現(xiàn)實(shí)世界的深遠(yuǎn)影響，其中特別關(guān)注了模型性能的同質(zhì)化趨勢(shì)，并對(duì)多模態(tài)AI市場(chǎng)的增長(zhǎng)進(jìn)行了預(yù)測(cè)。

此外，Abdula還介紹了Google Cloud的AI生態(tài)系統(tǒng)，包括其分層的AI平臺(tái)以及針對(duì)AI開發(fā)的通用生命周期管理。他詳細(xì)說(shuō)明了如何通過(guò)精確的評(píng)估和細(xì)致的微調(diào)來(lái)優(yōu)化模型性能，以確保其在各種應(yīng)用場(chǎng)景中的高效性和準(zhǔn)確性。

Abdula還探討了邊緣計(jì)算在加速數(shù)字化轉(zhuǎn)型中的關(guān)鍵作用，并提出了混合服務(wù)解決方案以及Vertex AI平臺(tái)的能力，強(qiáng)調(diào)了這些工具和技術(shù)在提升AI應(yīng)用效率方面的潛力。最后，他強(qiáng)調(diào)了評(píng)估在生成式AI開發(fā)過(guò)程中至關(guān)重要。

Google Cloud亞太區(qū)解決方案副總裁 Moe Abdula

字節(jié)跳動(dòng)Developer AI負(fù)責(zé)人 朱元碩帶來(lái)《AI Coding 工具的過(guò)去、現(xiàn)在和未來(lái)》的主題演講。他首先回顧了Code Copilot等AI編程輔助工具近二十年的發(fā)展歷程，并明確指出，在當(dāng)前的技術(shù)生態(tài)中，代碼補(bǔ)全已成為一項(xiàng)極具普惠性的技術(shù)，其成功地將技術(shù)深度與產(chǎn)品實(shí)用性完美結(jié)合。

他進(jìn)一步闡述了盡管自然語(yǔ)言編程和 Design2Code 等前沿技術(shù)展示了巨大的潛力，但目前它們?nèi)蕴幱诎l(fā)展階段，尚未達(dá)到成熟應(yīng)用的水平。他也堅(jiān)信，隨著技術(shù)的不斷進(jìn)步，未來(lái)AI編程工具將展現(xiàn)出更加卓越的性能和廣泛的應(yīng)用前景。

展望未來(lái)時(shí)，朱元碩預(yù)測(cè)，AI編程工具將引入預(yù)測(cè)下一個(gè)動(dòng)作的功能，使程序員能夠更準(zhǔn)確地預(yù)見代碼執(zhí)行的流程，從而提高編程效率。此外，他還提到了AI Bugfix技術(shù)，這種技術(shù)有望幫助程序員更加高效、準(zhǔn)確地定位和修復(fù)代碼中的錯(cuò)誤，減少調(diào)試時(shí)間，提高代碼質(zhì)量。

朱元碩認(rèn)為，AI Coding工具的發(fā)展不會(huì)取代程序員，而是將催生出能夠利用AI輔助工具完成高難度任務(wù)的超級(jí)程序員。在演講的最后，他介紹了字節(jié)跳動(dòng)旗下的豆包MarsCode這一持續(xù)進(jìn)化的AI編程工具。這款工具已經(jīng)推出了Beta版本的預(yù)測(cè)下一個(gè)動(dòng)作和AI Bugfix功能，為程序員提供了更加強(qiáng)大的支持。他相信，這些功能的引入將為程序員帶來(lái)更加高效、便捷的編程體驗(yàn)，同時(shí)也為AI編程工具的未來(lái)發(fā)展描繪了一幅充滿希望的圖景。

字節(jié)跳動(dòng)Developer AI負(fù)責(zé)人 朱元碩

硅基流動(dòng)的聯(lián)合創(chuàng)始人、一流科技創(chuàng)始人 袁進(jìn)輝在主題演講《大模型部署成本降低10000倍之路》中，深入剖析了降低大模型部署成本的策略與路徑。

他首先敏銳地指出，在AI應(yīng)用的迅猛發(fā)展中，推理算力需求將顯著超越訓(xùn)練算力需求，因此降低推理成本對(duì)于AI應(yīng)用的廣泛普及至關(guān)重要。

通過(guò)對(duì)Nvidia DGX H100等硬件的成本構(gòu)成進(jìn)行詳細(xì)分析，袁進(jìn)輝揭示了芯片利潤(rùn)空間的現(xiàn)狀，并進(jìn)而提出了一系列成本降低策略。這些策略不僅涵蓋了提升軟件性能、優(yōu)化內(nèi)存訪問(wèn)、采用專用芯片等硬件層面的優(yōu)化，還包括了軟件層面的批處理、模型量化、緩存策略、注意力機(jī)制優(yōu)化以及并行拓?fù)溥x擇等技術(shù)手段。

在模型層面，袁進(jìn)輝討論了如Mixture of Experts和模型路由技術(shù)等先進(jìn)方法，這些技術(shù)能夠有效提升模型的效率和性能，進(jìn)而降低推理成本。同時(shí)，他還從云計(jì)算層次出發(fā)，探討了如何利用潮汐效應(yīng)和供應(yīng)鏈管理來(lái)優(yōu)化資源使用，降低總體成本。

最后，袁進(jìn)輝通過(guò)自建與租賃GPU服務(wù)器的總擁有成本（TCO）分析，生動(dòng)地展示了如何在實(shí)際操作中實(shí)現(xiàn)大模型部署成本的顯著降低。

硅基流動(dòng)的聯(lián)合創(chuàng)始人、一流科技創(chuàng)始人 袁進(jìn)輝

Head of Developer Relations Sophia Yang 帶來(lái)的演講主題是《Building with Mistral》。她詳細(xì)回顧了Mistral模型的發(fā)展歷程和重要里程碑。

自去年九月發(fā)布首個(gè)開源模型以來(lái)，Mistral在短短一年內(nèi)迅速擴(kuò)展其產(chǎn)品線，連續(xù)推出了包括兩個(gè)企業(yè)級(jí)模型在內(nèi)的共六個(gè)模型。特別值得一提的是，Mistral 7B、Mistral 8x7B、Mistral 8x22B等模型，它們以最少的活躍參數(shù)實(shí)現(xiàn)了最優(yōu)的性能，其中兩款采用了混合專家模型（MoE）技術(shù)，展示了Mistral在模型效率和效能方面的顯著成就。

Sophia Yang強(qiáng)調(diào)了Mistral為開發(fā)者提供的定制化服務(wù)，這包括開發(fā)各種差異化模型以滿足不同定制需求，提供專業(yè)領(lǐng)域的模型和微調(diào)服務(wù)。

最新發(fā)布的編程大語(yǔ)言模型codestral，具備編寫文檔注釋和代碼翻譯等強(qiáng)大功能，進(jìn)一步擴(kuò)展了Mistral的應(yīng)用范圍。微調(diào)服務(wù)使開發(fā)者能夠根據(jù)特定任務(wù)調(diào)整模型，以獲得最佳性能。

Head of Developer Relations Sophia Yang

大會(huì)最后，來(lái)自耀途資本投資副總裁 溫廷燦、Google Cloud 首席架構(gòu)師 于有志、字節(jié)跳動(dòng)Developer AI負(fù)責(zé)人 朱元碩、零一萬(wàn)物聯(lián)合創(chuàng)始人 戴宗宏、得到聯(lián)合創(chuàng)始人 快刀青衣這5位業(yè)界大咖進(jìn)行了主題為「大模型時(shí)代的創(chuàng)新與創(chuàng)業(yè)機(jī)遇」的圓桌討論。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))了解到，在關(guān)于AI應(yīng)用的討論中，他們深入探討了生成式AI技術(shù)在不同領(lǐng)域的實(shí)際應(yīng)用。他們指出，盡管生成式AI已經(jīng)在一些場(chǎng)景中成功落地，但預(yù)計(jì)未來(lái)一年內(nèi)，隨著技術(shù)的不斷進(jìn)步，將有更多新場(chǎng)景迎來(lái)AI的融入。同時(shí)，他們也表示，某些環(huán)節(jié)的落地速度可能因初期期望過(guò)高而被高估，而另一些環(huán)節(jié)的潛力則可能被低估。

特別值得注意的是，盡管有些場(chǎng)景現(xiàn)有的AI模型已經(jīng)足夠先進(jìn)，但由于基礎(chǔ)設(shè)施的高門檻或算力成本高昂，導(dǎo)致投資回報(bào)率（ROI）不盡如人意，從而暫時(shí)無(wú)法全面推廣。然而，隨著算力成本逐漸降低至一個(gè)臨界點(diǎn)，這些模型有望實(shí)現(xiàn)更廣泛的落地應(yīng)用。此外，他們還展望了未來(lái)一年，隨著AI模型能力的進(jìn)一步提升，一些目前看似超出模型能力的場(chǎng)景也將變得觸手可及。

AI應(yīng)用的討論過(guò)后，圓桌嘉賓轉(zhuǎn)向了對(duì)AI infra 的深入探討。考慮到顯卡售賣限制對(duì)AI基礎(chǔ)設(shè)施發(fā)展的影響，分析了中國(guó)公司如何在這樣的背景下通過(guò)軟件部分優(yōu)化來(lái)加強(qiáng)AI infra。此外，還展望了未來(lái)1年、3年和5年內(nèi)，訓(xùn)練和推理資源需求的演變趨勢(shì)，并討論了在這些時(shí)間節(jié)點(diǎn)中，哪些環(huán)節(jié)的算力優(yōu)化最迫切，以及哪些環(huán)節(jié)擁有更大的優(yōu)化空間。通過(guò)綜合考量AI應(yīng)用與基礎(chǔ)設(shè)施的匹配度、模型能力的進(jìn)步與場(chǎng)景拓展，以及Infra環(huán)節(jié)的需求變化，可以更全面地理解AI領(lǐng)域的發(fā)展趨勢(shì)，并制定相應(yīng)的戰(zhàn)略以應(yīng)對(duì)未來(lái)的挑戰(zhàn)和機(jī)遇。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。