11月22日，AI與數(shù)字經(jīng)濟(jì)領(lǐng)域一年一度的科創(chuàng)盛會(huì)，2023 IDEA大會(huì)在深圳舉行。IDEA研究院創(chuàng)院理事長、美國國家工程院外籍院士沈向洋在會(huì)上發(fā)表主旨演講，發(fā)布IDEA研究院的重磅研產(chǎn)結(jié)晶與市場化成果；在大咖云集的論壇環(huán)節(jié)，多位領(lǐng)軍科學(xué)家、企業(yè)家、創(chuàng)業(yè)者同臺(tái)論道，碰撞“學(xué)研產(chǎn)投”靈感。

 

2023年，AI技術(shù)給人類生活所帶來的撼動(dòng)已無需贅言。一個(gè)個(gè)看似散點(diǎn)狀的技術(shù)突破相繼爆發(fā)，將人工智能推向主流?；仡櫄v史，技術(shù)變革無疑都伴隨著產(chǎn)業(yè)重塑與經(jīng)濟(jì)發(fā)展。然而，AI在以前所未有的力度沖入市場的同時(shí)，在研究上仍存在大量空白。

此次IDEA大會(huì)上，沈向洋從技術(shù)創(chuàng)新、技術(shù)創(chuàng)業(yè)、技術(shù)驅(qū)動(dòng)新產(chǎn)業(yè)三個(gè)角度，介紹了IDEA研究院在AI新篇章下，對(duì)科創(chuàng)的實(shí)踐與思考。

 

技術(shù)創(chuàng)新：見其所見，思所未思

談及技術(shù)創(chuàng)新，沈向洋認(rèn)為，“在大家都看到的問題里，找到大家都找不到的方法”是創(chuàng)新者的必備品質(zhì)。本次大會(huì)上，IDEA研究院就發(fā)布了幾項(xiàng)獨(dú)具技術(shù)品味的研究成果。

視覺提示模型T-Rex 

用圖片代替語言prompt，是什么體驗(yàn)？

在計(jì)算機(jī)視覺領(lǐng)域，檢測類任務(wù)有著極為廣泛的應(yīng)用場景。今年4月，IDEA研究院曾推出能夠“一句話檢測、分割一切”的Grounded SAM，通過文字提示實(shí)現(xiàn)精準(zhǔn)的目標(biāo)檢測，極大降低了技術(shù)使用與落地門檻，在Github上火爆出圈。

此次，同個(gè)研究團(tuán)隊(duì)帶來新作，視覺提示（visual prompt）模型T-Rex。團(tuán)隊(duì)表示，在真實(shí)應(yīng)用場景中，許多罕見、復(fù)雜物體難以用文字充分描述，視覺提示的加入能夠有效解決這一痛點(diǎn)。直觀的視覺反饋與強(qiáng)交互性，也有助于提升檢測的效率和精準(zhǔn)度。

 

值得一提的是，T-Rex是一個(gè)開箱即用的模型，無需重新訓(xùn)練或微調(diào)，即可檢測模型在訓(xùn)練階段從未見過的物體。活動(dòng)中，沈向洋還發(fā)布了T-Rex的模型實(shí)驗(yàn)室（playground），Interactive Visual Prompt（iVP），用戶可親自試玩解鎖“一圖勝千言”的prompting新體驗(yàn)。

沈向洋在演講中指出，計(jì)算機(jī)視覺領(lǐng)域在呼喚通用大模型的來臨。以GPT-4V為代表的多模態(tài)大模型，是在語言能力上增加視覺能力；IDEA研究院的計(jì)算機(jī)視覺團(tuán)隊(duì)則選擇了另一條路徑，先將基礎(chǔ)的視覺能力做到極致，再增加語言能力。

 

“我們認(rèn)為，物體級(jí)別的理解（object-level understanding），也就是檢測、分割、識(shí)別，是連接語言和視覺這兩種最重要的模態(tài)的基石。”沈向洋表示，只有對(duì)物理世界有了更為精準(zhǔn)的、物體級(jí)別的視覺理解，才有可能做出真正的多模態(tài)智能。IDEA團(tuán)隊(duì)將通過讓模型言之有據(jù)（grounded）、開放詞表（open-set）、可提示交互（promptable），來探索視覺大模型之路。

Think-on-Graph知識(shí)驅(qū)動(dòng)大模型

大模型雖好，但“一本正經(jīng)的胡說八道”怎么解？

眾所周知，大模型存在深度推理能力差、知識(shí)不可追溯、實(shí)時(shí)更新代價(jià)高等局限性，這也成為其在許多嚴(yán)肅領(lǐng)域落地的主要瓶頸。如何彌補(bǔ)大模型的這部分缺陷，是當(dāng)下AI應(yīng)用的重要課題。

為此，IDEA研究院團(tuán)隊(duì)研發(fā)了Think-on-Graph（思維圖譜）技術(shù)，讓大模型和知識(shí)圖譜強(qiáng)強(qiáng)聯(lián)合。總體來說，大模型更擅長意圖理解和自主學(xué)習(xí)；而知識(shí)圖譜因其結(jié)構(gòu)化的知識(shí)存儲(chǔ)方式，擅長邏輯鏈條推理，具有更佳的可解釋性與可實(shí)時(shí)更新性。

 

Think-on-Graph通過實(shí)現(xiàn)兩者的緊耦合交互，驅(qū)動(dòng)大模型agent在知識(shí)圖譜上“思考”，逐步搜索推理出最優(yōu)答案（在知識(shí)圖譜的關(guān)聯(lián)實(shí)體上一步一步搜索推理）。每一步推理中，大模型都親自參與，與知識(shí)圖譜相互取長補(bǔ)短。

在大會(huì)現(xiàn)場，研究團(tuán)隊(duì)也通過多個(gè)實(shí)例與產(chǎn)業(yè)化場景演示，展示了Think-on-Graph應(yīng)對(duì)復(fù)雜提問時(shí)優(yōu)異的深度推理能力。

懂語言者得天下

除了在人工智能方向上一往無前，IDEA研究院還十分重視計(jì)算機(jī)科學(xué)領(lǐng)域中其他分支的創(chuàng)新。沈向洋在會(huì)上重點(diǎn)介紹了兩個(gè)語言類項(xiàng)目。

 

今年8月，一個(gè)中國團(tuán)隊(duì)開發(fā)的編程語言在Hacker News（由Y Combinator創(chuàng)辦的知名科創(chuàng)社區(qū)）登上頭版頭條，這正是由IDEA研究院推出的MoonBit月兔。

MoonBit 是由Wasm驅(qū)動(dòng)，專為云計(jì)算與邊緣計(jì)算設(shè)計(jì)的開發(fā)者平臺(tái)，同時(shí)利用AI大模型賦能傳統(tǒng)工具鏈，提升代碼生成效率。MoonBit不僅提供通用程序語言設(shè)計(jì)，還垂直整合了編譯器、構(gòu)建系統(tǒng)、集成開發(fā)環(huán)境（IDE）、部署工具等版塊，提升開發(fā)體驗(yàn)與效率。

 

IDEA研究院展示的另一門新語言，是區(qū)塊鏈并行智能合約語言GCL。該語言的研究團(tuán)隊(duì)已連續(xù)兩年獲批國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目。

GCL旨在打造區(qū)塊鏈系統(tǒng)上的最優(yōu)解決方案。不同于傳統(tǒng)的“數(shù)據(jù)跟著代碼跑”的方案，GCL設(shè)計(jì)了“代碼執(zhí)行跟著數(shù)據(jù)跑”的編程模型，以減少因數(shù)據(jù)傳遞造成的麻煩。分布式編程模型能夠?qū)崿F(xiàn)復(fù)雜的區(qū)塊鏈應(yīng)用邏輯，并高效適配底層的多鏈系統(tǒng)。

 

技術(shù)創(chuàng)業(yè)：自由碰撞，嚴(yán)謹(jǐn)產(chǎn)出

近年來，技術(shù)創(chuàng)業(yè)已然成為許多技術(shù)創(chuàng)新者的下一站。在演講中，沈向洋用Transformer架構(gòu)開山之作《Attention is All You Need》舉例，這篇論文的八名作者如今全部在創(chuàng)業(yè)。“很多我的前同事也找到我說，‘Harry，我想創(chuàng)業(yè)’?！彼蛉さ?。

沈向洋指出，IDEA研究院一直致力于創(chuàng)造一個(gè)架構(gòu)，讓科學(xué)家頭腦、企業(yè)家素質(zhì)、創(chuàng)業(yè)者精神能夠自由碰撞，嚴(yán)謹(jǐn)產(chǎn)出。成立剛滿三年，IDEA研究院也帶來一批已經(jīng)或正在走向大市場的優(yōu)秀創(chuàng)業(yè)項(xiàng)目。

 

這些項(xiàng)目中，既有主打AI for Scientists的AI科研產(chǎn)品ReadPaper，也有為數(shù)據(jù)要素可信流通提供硬件級(jí)安全保障的SPU機(jī)密計(jì)算協(xié)處理器、SPU-G異構(gòu)AI協(xié)處理器，還有基于自研知識(shí)圖譜與生物醫(yī)學(xué)領(lǐng)域大模型的腦卒中智能防護(hù)產(chǎn)品StroCare。

其中，AI科研助手ReadPaper上線一年，收獲了不少科研從業(yè)者的喜愛。在大會(huì)上，團(tuán)隊(duì)公開了全新升級(jí)的ReadPaper 2.0版本，并現(xiàn)場演示閱讀copilot、潤色copilot等新功能。值得一提的是，支撐ReadPaper 2.0超強(qiáng)體驗(yàn)的學(xué)術(shù)大模型Eureka也在現(xiàn)場首次公開。

 

除了讓跨學(xué)科、跨界人才在IDEA的平臺(tái)上碰撞出火花，IDEA也積極與產(chǎn)業(yè)伙伴合作，將技術(shù)應(yīng)用到場景，深入到業(yè)務(wù)中去。

今年，萬科IDEA聯(lián)合實(shí)驗(yàn)室推出了自主研發(fā)的幾何建模與約束引擎，填補(bǔ)在工業(yè)設(shè)計(jì)軟件領(lǐng)域的國產(chǎn)空白。自2021年宣布成立以來，該實(shí)驗(yàn)室已在深圳、上海建設(shè)起一支集合圖像學(xué)、幾何計(jì)算、視覺技術(shù)、機(jī)器學(xué)習(xí)等領(lǐng)域頂尖人才的研究隊(duì)伍。

此外，IDEA研究院還通過CTO Labs平臺(tái)與一批獨(dú)角獸企業(yè)和瞪羚企業(yè)聯(lián)合創(chuàng)新，合作伙伴包括數(shù)說故事、晶泰科技、翼方健數(shù)等。本次IDEA大會(huì)上，IDEA視見睿來實(shí)驗(yàn)室發(fā)布了HiveNet可控人像視頻生成平臺(tái)，實(shí)現(xiàn)AI技術(shù)方案對(duì)傳統(tǒng)視頻拍攝流程（編、導(dǎo)、拍、演、剪）的全面替代。

 

技術(shù)驅(qū)動(dòng)新產(chǎn)業(yè)：勇闖無人區(qū)，低空經(jīng)濟(jì)再進(jìn)一步

2022年的IDEA大會(huì)上，沈向洋發(fā)布《低空經(jīng)濟(jì)發(fā)展白皮書——深圳方案》，吹響IDEA勇闖低空無人區(qū)的號(hào)角。

過去一年，低空經(jīng)濟(jì)在全國發(fā)展迅猛，IDEA研究院也再進(jìn)一步，在其智能融合低空系統(tǒng)（Smart Integrated Lower Airspace System，SILAS）中，提出時(shí)空進(jìn)程（Temporal Spatial Process）新概念。

與此同時(shí)，《低空經(jīng)濟(jì)發(fā)展白皮書（2.0）——全數(shù)字化方案》也在活動(dòng)上發(fā)布。

 

11月23日，由IDEA研究院聯(lián)合承辦的第五屆世界科技與發(fā)展論壇——世界低空經(jīng)濟(jì)論壇將在深圳舉行。屆時(shí)，IDEA研究院將深度分享“異構(gòu)、高密度、高頻次、高復(fù)雜度”低空飛行安全和效率問題的解決思路，以及低空空域?qū)崿F(xiàn)從“可通達(dá)”到“可計(jì)算”再到“可運(yùn)營”轉(zhuǎn)變的數(shù)字化路徑。

“技術(shù)創(chuàng)新從來就不是一蹴而就的?！鄙蛳蜓笳f，人類歷史就是一部勇闖無人區(qū)的歷史，當(dāng)我們回顧那些偉大的創(chuàng)新，今天看來有多震撼，起步時(shí)就有多困難。因此，做科研既要有耐心，也要對(duì)趨勢(shì)有足夠深刻的思考，還要建立讓創(chuàng)新能夠開枝散葉、生生不息的機(jī)制。演講的最后，沈向洋呼吁，生逢大時(shí)代，IDEA研究院愿與各界同仁一道，創(chuàng)新智能技術(shù)，創(chuàng)造偉大企業(yè)，推動(dòng)數(shù)字經(jīng)濟(jì)。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。