丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預(yù)覽,將在時失效
業(yè)界 正文
發(fā)私信給何思思
發(fā)送

0

對話APUS李濤:全面轉(zhuǎn)型做AI,蒸餾法訓(xùn)練大模型,沉淀中小模型

本文作者: 何思思 2023-04-13 10:18
導(dǎo)語:AGI時代,大模型小模型都需要。

對話APUS李濤:全面轉(zhuǎn)型做AI,蒸餾法訓(xùn)練大模型,沉淀中小模型

作者丨何思思

編輯丨林覺民

走進融新科技中心A座23層,映入眼簾的是綠植、野營桌椅帳篷,在如此輕松的環(huán)境下,雷峰網(wǎng)見到了APUS創(chuàng)始人李濤,他著一身休閑裝,顯得尤為放松。

對談前,他用八個字總結(jié)了創(chuàng)辦APUS的心路歷程——“享受過程、追求快樂”,對談過程中,也始終強調(diào)著“快樂”的重要性。一場對談下來,他口中有關(guān)“創(chuàng)業(yè)壓力、至暗時刻”的抱怨很少,更多的是應(yīng)對變局時的從容淡定。

雷峰網(wǎng)從側(cè)面了解到,APUS在選擇辦公地址時通常首選高層,原因是窄小的格子間只會給程序員帶來壓迫感,毫無快樂可言,高樓層視野開闊,可以讓程序員們員工心胸更寬廣。站在APUS辦公室的窗前能看到北京最高的建筑“中國尊”。

對話APUS李濤:全面轉(zhuǎn)型做AI,蒸餾法訓(xùn)練大模型,沉淀中小模型

李濤是國內(nèi)最早一批接觸到大模型的人之一,早在2019年,他就和字節(jié)跳動創(chuàng)始人張一鳴、紅杉中國創(chuàng)始人沈南鵬在硅谷見了OpenAI創(chuàng)始人Sam Altman,這也為APUS全面轉(zhuǎn)型人工智能埋下了伏筆。

2022年11月底,OpenAI上線ChatGPT引發(fā)了全球性的關(guān)注,隨后谷歌母公司Alphabet宣布將推出名為“Bard”的AI(人工智能)聊天機器人服務(wù)以及多個人工智能項目,緊接著Azure OpenAI重磅推出了 GPT-4,相繼微軟宣布將大型語言模型(LLM)和Microsoft 365應(yīng)用相結(jié)合,正推出全新的AI功能。

至今國際市場上有關(guān)大模型的角逐仍在持續(xù)上演。

反觀國內(nèi)市場,其激烈程度不亞于國外,自今年2月份ChatGPT在國內(nèi)火爆出圈后,互聯(lián)網(wǎng)廠商們坐不住了,迅速加入AI賽道。首先是百度官宣文心一言,并在之后的邀約測試環(huán)節(jié)中吸引了12萬人,隨后阿里、騰訊、360等互聯(lián)網(wǎng)企業(yè)相繼官宣加入該賽道。

相較百度而言,雖然后者還沒有推出可商用的大模型產(chǎn)品,但也紛紛轉(zhuǎn)投了大部分精力到大模型的研發(fā)工作上。

全球化智能手機操作系統(tǒng)企業(yè)APUS,以工具類產(chǎn)品為基礎(chǔ)逐漸衍生出內(nèi)容等相關(guān)產(chǎn)品和服務(wù),從2014年成立至今已經(jīng)在全球擁有了超24億用戶,覆蓋200多個國家和地區(qū),支持超25種語言。面對此次AI大模型風(fēng)口,APUS早在2019年就開始了相關(guān)布局,并于去年底啟動大AI戰(zhàn)略,比國內(nèi)的AI熱潮提早了一到兩個月的時間。

從移動互聯(lián)網(wǎng)企業(yè)轉(zhuǎn)型人工智能,李濤坦言,“和公司的定位有很大的關(guān)系,2020年以前我們對自己的定位是‘中國出海企業(yè)’,之后轉(zhuǎn)成‘全球化公司’。這決定了我們會更早的感知到國外的技術(shù)、思維等方面的變化,去年年底則真正感受到了AI 帶來的競爭壓力,也看到了其巨大的發(fā)展?jié)摿Γ覀冸S之啟動了全面擁抱AI的戰(zhàn)略轉(zhuǎn)型。”

以下為雷峰網(wǎng)和李濤的對話:

“不要抱著補償心理創(chuàng)業(yè),創(chuàng)業(yè)者要享受過程”

雷峰網(wǎng):您怎么看待創(chuàng)業(yè)這件事?

李濤:創(chuàng)業(yè)是一個動態(tài)的過程,不是開始,更不是結(jié)果。創(chuàng)業(yè)者必然會經(jīng)歷高光也會經(jīng)歷低谷,不能單純的追求三年或者五年后的特定高光時刻,高光后還會回歸到落寞的狀態(tài)是自然規(guī)律,所以創(chuàng)業(yè)者沒必要為了高光而辛苦,而是要享受過程,從中讓自己更快樂。

雷峰網(wǎng):所以您屬于很享受過程的人?

李濤:對,我覺得人做事第一要順勢而為,第二要學(xué)會造勢,第三要享受過程,這三件事你都做到了,就會很快樂,你的心態(tài)也會非常平衡,成功之后也不會有很強的補償心態(tài)。

雷峰網(wǎng):要想創(chuàng)業(yè)成功,什么特質(zhì)是最重要的?

李濤:積極穩(wěn)定的心態(tài)。有些上市公司并不賺錢,因為這些創(chuàng)業(yè)過程艱難,企業(yè)家認為太苦了,上市后補償心理就會太重,一旦有了這種心態(tài)就很難成功。現(xiàn)在很多成功企業(yè)的領(lǐng)頭人恰恰是在享受過程,并不是為了追求走到哪一個高光時刻,但是這些企業(yè)一旦進入高光區(qū)往往就會持續(xù)很長時間,這是積極的心態(tài)帶來的正向效應(yīng)。

我創(chuàng)辦APUS以后,企業(yè)的業(yè)務(wù)增長很快,因為創(chuàng)造了社會價值,我在其中也感受到快樂,沒有補償心理,這種心態(tài)讓我更容易做出正確的判斷,幫助企業(yè)維持了比較好的發(fā)展態(tài)勢。

全球化視野提前感知AI變革,決定全面轉(zhuǎn)型

雷峰網(wǎng):怎么定位APUS?

李濤:APUS是一家以產(chǎn)品技術(shù)為核心競爭力的全球化移動互聯(lián)網(wǎng)公司,2014-2019年一直做出海業(yè)務(wù),我們那時的定位是中國出海企業(yè),2019年APUS戰(zhàn)略升級為“全球化”,把自己定位為全球化公司,無論中國、美國或其他地方,都是我們選擇的一個市場區(qū)域。

雷峰網(wǎng):決定讓你全面轉(zhuǎn)型做人工智能,是有什么契機嗎?

李濤:ChatGPT出來后再次證明了國內(nèi)互聯(lián)網(wǎng)的全球化發(fā)展很不充分,去年10月ChatGPT就在美國火了,當(dāng)時很多美國學(xué)生都用它來做作業(yè),但這個概念到今年2月才在國內(nèi)出圈,這意味著中國在技術(shù)意識方面要比美國晚3到4個月以上的時間。而APUS是全球化企業(yè),在這個定位下,感知和思維模型就會有全球化視野,我們大概去年就已經(jīng)接觸到了ChatGPT并開始了相關(guān)研究和自我籌備。

雷峰網(wǎng):APUS最早是怎么做的?

李濤:從AIGC開始入手,當(dāng)時不是按照ChatGPT 這個方法,但我們很快就發(fā)現(xiàn)了ChatGPT 模型的訓(xùn)練能力是極強的。因為語言模型訓(xùn)練是非常困難的一件事,比AIGC的挑戰(zhàn)大的多,今天大部分AIGC都不能算是大模型而是自建的中等模型。

雷峰網(wǎng):所以如谷歌這類公司在大模型方面是最有優(yōu)勢的?

李濤:我不這么認為。因為他們很難顛覆自己的“商業(yè)模式”去實現(xiàn)自我革命。搜索引擎是歸納法,在歸納法的基礎(chǔ)上創(chuàng)建自己的商業(yè)模式,他們不太可能去做演繹法的事情。像谷歌做大模型就是很被動的在做,因為它在大模型方面是落后的,就必須按照別人制定的規(guī)則來做,而OpenAI已經(jīng)把規(guī)則定下來了。假如谷歌能做出一個超越 OpenAI的大模型,他會試圖重新把這套東西拉回到自己原來的那套規(guī)則上,去發(fā)揮它原有的優(yōu)勢向下做,這必然會導(dǎo)致落后。這是谷歌這類公司的痛點,它很難改變。

雷峰網(wǎng):如果中國出現(xiàn)下一個GPT企業(yè),您認為小公司比大公司的可能性大?

李濤:對,目前能做GPT的大多是互聯(lián)網(wǎng)企業(yè),但這些企業(yè)本質(zhì)上都有既得利益,他們不愿意舍棄這些既得利益。王慧文投5000萬美金這個事就值得我們期待。

雷峰網(wǎng):為什么值得期待,能做成嗎?

李濤:中國試圖做AI大模型的企業(yè)都值得期待,只是王慧文在所有人沒表態(tài)的時候就站出來了,但這僅僅是表態(tài),最終能輸出什么樣的產(chǎn)品我們還要再觀察。

雷峰網(wǎng):有人愿意投入大量資金,是不是意味著我們離大模型更近了?

李濤:大模型靠的是什么?第一場景,第二數(shù)據(jù),第三算法,第四算力,不僅僅是砸錢就能搞定的事情。

客觀來看,我們有場景,也有不小的數(shù)據(jù)體量,但這個數(shù)據(jù)放在全球市場來看也沒有絕對優(yōu)勢。我們有算法,但都是割裂狀態(tài),沒有一個開放平臺讓大家把擁有的算法都貢獻出來。算力方面,我們正面臨高性能算力的限制,芯片方面較美國,中國還是有很大差距的。

總的來講就是,場景豐富;但數(shù)據(jù)只能算中等規(guī)模;算法是極度分散,沒有形成合力;算力則是嚴重不足。

雷峰網(wǎng):怎么解決這些問題?

李濤:一方面,中國的算力大部分掌握在政府手里和運營商手里,所以需要政府推動進行算力整合。另一方面,也需要行業(yè)推動,公開算法。

雷峰網(wǎng):為什么倡導(dǎo)大家把算法公開出來?

李濤:大模型不公開是正常的,因為大模型和商業(yè)模式掛鉤,會直接決定企業(yè)營收。算法是可以公開的,只有算法公開,才可以把大家的智慧集中起來。所有代碼都開放出來意味著有更多人能夠維護和優(yōu)化代碼,代碼一旦升級到很高的水平,數(shù)據(jù)和模型能力就會迅速提升,這本質(zhì)上是一個利己的行為。OpenAI就很聰明,它做完這件事就把接口全部開放出來了。而且也更利于訓(xùn)練自己的模型,模型訓(xùn)練需要更多的數(shù)據(jù)和場景,這不是千百個程序員坐在辦公室能想出來的。

從另一個角度來看,公開算法會促使更多開發(fā)者進行創(chuàng)新,能夠推動行業(yè)進步,也是在創(chuàng)造更好的創(chuàng)新環(huán)境和發(fā)展氛圍。這樣看來,開源利人利己,何樂而不為?

雷峰網(wǎng):真正解決了這個問題,中國企業(yè)有沒有機會?

李濤:有機會,但不會一下起來,這場AI潮比拼的本質(zhì)是你能不能先抓住場景;第二是數(shù)據(jù),第三是國際化的問題,只有足夠國際化才能解決算法不斷更新迭代的問題,才能解決算力不足的問題。

用蒸餾法訓(xùn)練AI大模型,沉淀中小模型

雷峰網(wǎng):今年APUS在AI大模型方面的目標是什么?

李濤:2019年年APUS開始從中國出海企業(yè)轉(zhuǎn)為全球化公司,今年就是要全面擁抱AI,成為一家人工智能公司,這是非常明確的目標,我們預(yù)估轉(zhuǎn)型后企業(yè)業(yè)績有望實現(xiàn)200%的增長。

雷峰網(wǎng):成為人工智能公司的標志是什么?

李濤:第一,企業(yè)內(nèi)部生產(chǎn)工具的改進和生產(chǎn)效率的提升;第二,用人工智能改造現(xiàn)在所有的產(chǎn)品;第三:在人工智能的環(huán)境下去探索新的物種和新的產(chǎn)品;第四:把人工智能推到全產(chǎn)業(yè)鏈中,讓AI成為新引擎。

雷峰網(wǎng):會和大模型公司(諸如文心一言)合作嗎?

李濤:或許會合作,但存在一個關(guān)鍵問題,雙方合作沉淀下來的模型在他那還是在你這兒,這個關(guān)系很難平衡。所以國內(nèi)企業(yè)都要考慮沉淀出屬于自己的中小模型,這是未來一切發(fā)展的基礎(chǔ)。

雷峰網(wǎng)(公眾號:雷峰網(wǎng)):具體應(yīng)該怎么做?

李濤:要用別人的大模型方法實現(xiàn)自我訓(xùn)練,也要反向的通過領(lǐng)先的大模型用蒸餾法訓(xùn)練自己的模型,另外在關(guān)鍵節(jié)點還要加一部分人工干預(yù)。

雷峰網(wǎng):APUS在自己訓(xùn)練大模型嗎?

李濤:我們自研了一個參數(shù)在1000億以內(nèi)的“天燕”大模型,并形成了無數(shù)個精煉模型(中小模型),另外還反向用像GPT這樣的大模型通過蒸餾法來訓(xùn)練自己的大模型。

從商業(yè)化角度,針對不同場景有不同的小模型,每個場景可能有1到10款不同的產(chǎn)品和軟件,這樣也能保障有足夠大的用戶量來訓(xùn)練我的小模型。

雷峰網(wǎng):中小模型和大模型有什么區(qū)別?

李濤:區(qū)別在于參數(shù)、算力和場景。大模型和中小模型有非常明顯的界限,中小模型之間則沒有很大的界限。大模型的使用面非常廣,它可以分裝成中模型和小模型,中模型是最復(fù)雜的,一般是獨立建的模型,像商湯和曠視。未來可能很少會存在單獨的小模型,一般在大模型的訓(xùn)練場景中加上參數(shù),就會形成一個小模型。

雷峰網(wǎng):您覺得大中小模型哪個會率先迎來爆發(fā),或者商業(yè)機會更多?

李濤:毋庸置疑肯定是中小模型,下半年各種中小模型會迅速產(chǎn)出商業(yè)價值,但從長遠來看更具潛力的一定還是大模型。如果說第一個時代的操作引擎是 windows 和Linux,第二個時代的操作引擎就是安卓和iOS,那么下一個時代的操作引擎就是人工智能,OpenAI其實就是想把GPT做成一個操作系統(tǒng),大家都想爭這個操作系統(tǒng)的掌控權(quán)和話語權(quán)。

ChatGPT不是很熱,是還不夠熱

雷峰網(wǎng):你怎么看待ChatGPT?

李濤:ChatGPT幫我們利用人類的智慧生成了一個全新的結(jié)果,且這個結(jié)果在歷史上從來沒有出現(xiàn)過的,它把這個結(jié)果作為唯一性的選擇給到我們,這是過去機器無法完成的。

它相當(dāng)于一個7歲小孩的智慧,會模仿會創(chuàng)新,就像他看了無數(shù)幅畫后,他自己會畫一幅畫,進行全新創(chuàng)作。

雷峰網(wǎng):目前行業(yè)對ChatGPT的接受度如何?

李濤:業(yè)界對ChatGPT的認知還比較落后,前段時間我的MBA 課程留了一份課堂作業(yè),基于紀錄片《壽司之神》描述日本工匠精神,我用ChatGPT完成了這份PPT,第二天講的時候,很多人都還驚訝,不知道ChatGPT是什么。

雷峰網(wǎng):APUS內(nèi)部對人工智能的使用到什么程度了?

李濤:我們內(nèi)部所有系統(tǒng)都已經(jīng)接入人工智能,圖片圖標制作完全用AI替代,一半以上的程序員代碼都是用人工智能來review的。

雷峰網(wǎng):怎么提升內(nèi)部員工對人工智能的使用度?

李濤:去年春節(jié)以后APUS制定了一個獎勵機制,要求所有程序員、設(shè)計師以及生產(chǎn)一線的同事都必須用人工智能來提升自己的生產(chǎn)效率,提升30%效率的加薪10%,如果提升 50% 以上加薪20%-30%,激勵大家使用人工智能。

雷峰網(wǎng):如果全行業(yè)都用上人工智能,那企業(yè)的核心競爭力在哪里體現(xiàn)?

李濤:誰優(yōu)先想到用人工智能,誰把人工智能用得更徹底,誰的生產(chǎn)效率最高,誰在行業(yè)內(nèi)的潛力就越大。


雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

分享:
相關(guān)文章

工業(yè)口編輯

關(guān)注新基建,聚焦工業(yè)互聯(lián)網(wǎng)領(lǐng)域 網(wǎng)絡(luò)安全丨微信:15230152798
當(dāng)月熱門文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說