1
| 本文作者： 周翔 | 2016-12-22 16:54 |
雷鋒網(wǎng)按：作為一家科技巨頭的CEO，扎克伯格卻依然保持寫代碼的習(xí)慣。可怕的自制力，超強(qiáng)的執(zhí)行力，當(dāng)比你有錢的人還比你更聰明更勤奮的時候，雷鋒網(wǎng)編輯不禁開始懷疑人生。
以下文章來自扎克伯格的筆記“Building Jarvis”，由雷鋒網(wǎng)編譯，未經(jīng)許可不得轉(zhuǎn)載。
2016年我給自己制定了一個挑戰(zhàn)：打造一個像鋼鐵俠里 Jarvis 那樣的家庭AI助手。
我的目的是了解人工智能發(fā)展的現(xiàn)狀。雖然人工智能已經(jīng)比人們能察覺到的要先進(jìn)得多，但是依然還有很長的路要走。通過完成這些挑戰(zhàn)，我不僅熟悉了Facebook的工程師們使用的內(nèi)部技術(shù)，而且還對智能家居有了全面的了解。
在這一年里，我打造了一個可以通過手機(jī)和電腦進(jìn)行對話的AI系統(tǒng)。它能夠控制我家里的燈光、溫度、電器、音樂和安防系統(tǒng)，而且這個AI還能了解我的品味和習(xí)慣，可以學(xué)習(xí)新的詞匯和概念，甚至可以逗我的女兒Max開心。Jarvis是由Python、PHP和Objective C編寫的，運(yùn)用了包括自然語言處理、語音識別、面部識別以及強(qiáng)化學(xué)習(xí)在內(nèi)的人工智能技術(shù)。
在本文中，我將會解釋我創(chuàng)建的Jarvis到底是什么，以及我從中學(xué)到了什么。
從某些方面來說，這個挑戰(zhàn)比我預(yù)想的要容易。實(shí)際上，我給自己制定的跑步計(jì)劃（2016年跑365公里）累計(jì)花費(fèi)的時間比這還更多。不過，將我家里所有的系統(tǒng)全部連接起來，并讓系統(tǒng)之間互相通信，卻比我預(yù)想的要難得多。
在可以構(gòu)建AI之前，我必須首先編寫代碼將使用不同語言和協(xié)議的系統(tǒng)連接起來。我們的電燈、恒溫器和門使用的是Crestron系統(tǒng)，音樂流媒體Spotify搭配的是Sonos音箱，還有一臺三星電視機(jī)，以及為Max準(zhǔn)備的Nest Cam攝像頭，當(dāng)然，我的工作室連接的是Facebook的系統(tǒng)。為了能夠通過我的電腦發(fā)布諸如開燈、播放歌曲之類的指令，我不得不對其中一些系統(tǒng)的API進(jìn)行逆向開發(fā)。
此外，大多數(shù)的電器甚至都不能連接到互聯(lián)網(wǎng)。雖然通過支持連接到互聯(lián)網(wǎng)、可遠(yuǎn)程控制的電源開關(guān)能夠控制其中的一些電器，但是這還遠(yuǎn)遠(yuǎn)不夠。比如，如果你希望烤面包機(jī)能在接通電源的時候自動開始烤面包，但你很難找到能夠讓你在斷電的情況下將面包按下去的烤面包機(jī)。最終，我最終找到了一個1950年代的古董烤面包機(jī)，然后把它插在了智能插座上。同樣的，要想連接Beast（扎克伯格的寵物狗）的自動投食器，則需要涉及到硬件改造工作。
對于Jarvis這樣的助手來說，要想能夠幫助更多的人控制家里的一切，我們需要將更多的設(shè)備連接起來。而業(yè)界也需要開發(fā)通用的API和標(biāo)準(zhǔn)，讓設(shè)備與設(shè)備之間能相互通信。
當(dāng)我寫完能夠讓我的電腦控制我家的代碼之后，下一步就是讓我和電腦之間的溝通變得像日常對話那樣自然。這里的過程分為兩步：首先實(shí)現(xiàn)通過文本信息來對話，然后增加將語音轉(zhuǎn)錄成文本的功能。
從尋找關(guān)鍵詞開始，比如通過“臥室”、“燈”、“開”這幾個關(guān)鍵字，它可以知道我是在告訴它把臥室的燈打開。很快，我就發(fā)現(xiàn)它需要理解同義詞，“family room”和“l(fā)iving room”在我們家里指的是同一個房間，這就需要建立一種能教它學(xué)習(xí)新的詞匯和概念的方法。
理解語境對任何AI來說都非常重要。例如，當(dāng)我告訴它打開我辦公室里的空調(diào)時，這和Priscilla說同樣的話的意思完全不同。這造成了一些混亂。比如，當(dāng)你在沒有指定房間的情況下讓它把燈調(diào)暗一點(diǎn)或者播放一首歌的時候，如果它不知道你在哪個房間，那么很可能打開Max房間里的播放器，然后在我們希望她能打個小盹的時候把她吵醒。
音樂是一個更有趣也更復(fù)雜的自然語言領(lǐng)域。對于一個識別關(guān)鍵字的系統(tǒng)來說，有太多的藝術(shù)家、歌曲、專輯，因此你可以問的東西也非常寬泛。電燈只能關(guān)閉或打開，然而當(dāng)你說“play XX（播放XX歌曲）”時，即使細(xì)微的差別也可能意味很多不同的意思。比如，“play someone like you（播放歌曲someone like you）”，“play someone like Adele（播放和Adele風(fēng)格相似的歌手的歌曲）”，“play some Adele（播放Adele的歌）”，這些聽起來很相似，但其實(shí)是完全不同的指令。第一個指令是播放一首特定的歌曲，第二個是推薦一位歌手，第三個則是創(chuàng)建一個Adele最好聽的歌曲播放列表。不過，通過一個有反饋的系統(tǒng)，AI可以學(xué)習(xí)到這些差異。
一個AI系統(tǒng)對語境的了解越多，就能越好地處理開放式問題。我經(jīng)常只對Jarvis說“play me some music（播放音樂）”，它會查看我過去的聽歌習(xí)慣，大部分情況下它播放的都是我想聽的歌。如果它播的歌不符合當(dāng)時的氣氛，我可以直接告訴它，比如，“這不是舒緩的，播放一些舒緩的音樂”，它就會學(xué)習(xí)到那首歌的分類，并立即做出調(diào)整。而且它也知道是我在跟它說話，還是Priscilla（扎克伯格的妻子）在跟它說話，這樣它就可以根據(jù)我們的口味推薦不同的歌曲。相比非常具體的指令，我發(fā)現(xiàn)我們更常使用開放式的命令。就我所知，目前還沒有哪個商業(yè)化的產(chǎn)品在做這個，這應(yīng)該是一個巨大的機(jī)會。
人類三分之一的大腦都負(fù)責(zé)視覺，而AI在理解圖像和視頻方面也有很多難題。這些難題包括追蹤（比如Max在嬰兒床中移動是不是說明她醒了？），對象識別（例如房間里的是Beast還是一塊毯子（注：Beast是一條長得很像地毯的寵物狗）），以及面部識別（例如誰在門口？）。
面部識別是對象識別中一個特別難的問題，因?yàn)榇蟛糠秩说拈L相是很相似的，相比之下，區(qū)分任意兩個不同的物體，比如一個三明治和一座房子，就簡單得多。但是Facebook在面部識別方面的技術(shù)能力很強(qiáng)，它能夠很輕易地識別你照片庫中的朋友。當(dāng)你的朋友站在你的門前的時候，通過面部識別，AI系統(tǒng)就能決定是否讓他進(jìn)來。
為了做到這一點(diǎn)，我在門口裝了好幾個攝像頭，確保各個角度都能夠捕獲圖像。AI系統(tǒng)目前還不能識別后腦勺，因此多裝幾個攝像頭可以確保我們可以看到那個人的臉。我設(shè)置了一個簡單的服務(wù)器，可以持續(xù)檢查攝像頭的傳回的圖像，并執(zhí)行以下兩個程序：
首先，通過面部檢測，來查看是否有人出現(xiàn)在攝像頭的視野之中，如果它發(fā)現(xiàn)人臉出現(xiàn)在畫面之中，就會執(zhí)行面部識別程序來確定這個人是誰。
一旦確定這個人是誰，就會檢查一個列表來確定他是不是我正在等的人。如果是，就會讓他進(jìn)來并通知我，客人已經(jīng)到了。
這種類型的視覺AI系統(tǒng)在很多地方都非常有用：比如知道Max什么時候醒，這樣就可以開始播放音樂或者普通話課程；知道我們在哪個房間里，這樣就可以在不提供位置的情況下，正確地執(zhí)行沒有上下文的類似開燈這樣的指令。和AI其他的方面一樣，當(dāng)把視覺提供的信息與其他能力結(jié)合起來時就能發(fā)揮最大的功效。比如知道哪些是你的朋友，以及如何在他們到你家的時候給他們開門。當(dāng)AI系統(tǒng)擁有的信息量越多，它就會變得越聰明。
雖然我在電腦上編寫Jarvis，但為了讓它更有用，我希望不管在任何地方都能和它對話。這意味著我必須通過我的手機(jī)，而不是放在家里的某個設(shè)備來和它進(jìn)行通信。
我開始建立一個Messenger Bot來和Jarvis對話，這比開發(fā)一個單獨(dú)的App要容易地多。Messenger為開發(fā)自動程序提供了一個簡易的框架，它可以自動幫你完成很多事情，比如可以跨平臺（iOS和Android）工作，支持文字、圖像和語音內(nèi)容，推送通知，管理不同人的身份和權(quán)限等等。
我可以通過Messenger Bot發(fā)送任何的文本信息，發(fā)送的文本會被立即傳送到Jarvis服務(wù)器上并被處理。我也可以發(fā)送語音片段，服務(wù)器會將語音準(zhǔn)換成文本，然后執(zhí)行指令。如果在我不在家的時候有人到訪，Jarvis會給我發(fā)送一張圖片，然后告訴我是誰來了。
有一點(diǎn)我沒想到的是，雖然我既可以通過語音也可以通過文字來和Jarvis對話，但是我使用文字的幾率比我預(yù)想的多得多。大多數(shù)情況下，打字不會干擾到我身邊的人。如果我做的事涉及所有人，比如為大家播放音樂，那么我會選擇語音，但是大多數(shù)時候用打字更合適。同樣的，當(dāng)Jarvis和我溝通的時候，我更希望收到文本信息而不是語音。因?yàn)槁曇粲袝r候會突然打擾到你，而文本則讓你可以在想看的時候再看。就算是我對著Jarvis發(fā)布語音指令，但是如過我正在使用手機(jī)，我會更喜歡它通過文本信息來回應(yīng)。
這種選擇文字而不是語音交流方式的偏好，其實(shí)跟Messenger和Whatsapp上文字消息比語音消息更收歡迎這一現(xiàn)象是吻合的。這表明，未來的AI產(chǎn)品不能只專注語音交互，私人消息界面也應(yīng)該是標(biāo)配。如果你想讓AI能夠通過文本溝通，那么選用像Messenger這樣的平臺比你從零開始開發(fā)一個App要容易的多。我一直以來都對AI機(jī)器人持樂觀態(tài)度，當(dāng)我開發(fā)了Jarvis之后，這種交互的體驗(yàn)讓我更相信智能家庭的未來應(yīng)該是像Jarvis這樣的。
盡管我認(rèn)為文本在與AI溝通方面比人類意識到的更加重要，但是語音也仍將占據(jù)非常重要的地位。語音最大的好處是它的速度。你不需要掏出你的手機(jī)，打開App，然后開始打字，你需要做的僅僅是說話。
為了能夠讓Jarvis能夠擁有語音識別功能，我需要為Jarvis建一個能在后臺采集語音信息的的App。雖然Messenger Bot能夠做很多事，但是要實(shí)現(xiàn)語音交互對它來說還是比較困難的。我設(shè)計(jì)的Jarvis專用App能夠讓Jarvis在我把手機(jī)放在桌上的時候，聽我說話。我可以在各個房間里都放上手機(jī)，這樣我就可以在每個房間都可以和Jarvis對話了。雖然這和亞馬遜的Echo很相似，但是根據(jù)我的經(jīng)驗(yàn)，當(dāng)我不在家的時候會經(jīng)常用手機(jī)和Jarvis對話。因此把手機(jī)當(dāng)作主要的交互入口比家庭設(shè)備更可靠。我已經(jīng)開發(fā)了iOS版的Jarvis App，下一步計(jì)劃開發(fā)安卓版的App。從2012年起我就沒有開發(fā)過iOS的App了，在這次的開發(fā)過程中，F(xiàn)acebook為開發(fā)App和語音識別提供的工具鏈讓我印象非常深刻。
雖然語音識別系統(tǒng)最近已經(jīng)有了很大的進(jìn)步，但是目前還沒有哪一個AI系統(tǒng)在理解會話語言方面做的足夠好。語音識別依賴于聽懂你的話并預(yù)測你將要說什么，因此相比非結(jié)構(gòu)化語言，結(jié)構(gòu)化的語言要容易理解的多。
語音識別系統(tǒng)，或者更廣泛的機(jī)器學(xué)習(xí)系統(tǒng)，都有其限制，它們往往更適用于特定的問題。比如理解人和機(jī)器的對話與理解人和人之間對話是不同的。當(dāng)你用來自谷歌的人機(jī)對話數(shù)據(jù)來訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)，那么這個機(jī)器學(xué)習(xí)系統(tǒng)在理解Facebook上人與人之間對話的表現(xiàn)將會相對較差。訓(xùn)練一個能夠只需要近距離對話的AI，和訓(xùn)練一個在更大的空間范圍內(nèi)使用的AI（比如Echo），也有很大的不同。這些系統(tǒng)的限制很多，這意味著我們離更通用的AI系統(tǒng)還有很大的距離。
從心理學(xué)層面上來說，一旦你對著一個AI說話，那么就會比你使用文本或者圖形界面與計(jì)算機(jī)交互要投入更多感情。我觀察到的很有意思的一點(diǎn)是，當(dāng)我為Jarvis 植入聲音之后，我會希望它能更幽默一些。其中一部分原因是因?yàn)樗F(xiàn)在可以與Max對話，我希望對話有趣一些，能夠逗Max開心。另一部分原因感覺它一直在我們身邊。我教了他一些有趣的小游戲，比如我和Priscilla可以問它我們應(yīng)該撓誰的癢癢，他會隨機(jī)告訴我們一個名字：Max或者Beast。我還會增加一些經(jīng)典臺詞，比如“對不起，Priscilla?？峙挛易霾坏健?。
在語音這一領(lǐng)域還有很多需要探索。AI技術(shù)剛剛變得能夠成為一款偉大產(chǎn)品的基礎(chǔ)，在未來的幾年它會變得越來越好。同時，我認(rèn)為最好的產(chǎn)品應(yīng)該可以隨身攜帶而且可以進(jìn)行私密性對話的。
作為Facebook的CEO，我并沒有多少時間寫代碼，但我從未停止過編程。不過這些日子以來我主要是在創(chuàng)建我的個人項(xiàng)目Jarvis。我本來只希望今年能夠了解一些AI的現(xiàn)狀和進(jìn)展，但是我發(fā)現(xiàn)學(xué)到的遠(yuǎn)遠(yuǎn)超出了我的預(yù)期，感覺自己就像是Facebook的一個工程師。
我在Facebook的代碼庫中升級的經(jīng)驗(yàn)可能和大多數(shù)新的工程師類似。我們的代碼結(jié)構(gòu)組織非常好，不管是臉部識別、語音識別、Messenger Bot框架（messenger.com/platform）還是iOS開發(fā)。你很容易找到你想要的。為了能夠在GitHub的Atom文本編輯器上使用，我們創(chuàng)建了開源包——基于Atom的Nuclide（github.com/facebook/nuclide），這讓開發(fā)工作變得更容易。我們也創(chuàng)建了Buck系統(tǒng)（buckbuild.com）來開發(fā)大型項(xiàng)目，這節(jié)省了我很多時間。我們開源的文本分類工具FastText（github.com/facebookresearch/fastText） 也值得一看。如果你對開發(fā)AI也有興趣的話，也可以看看Facebook Research（github.con/facebookresearch）在Github上的所有開源項(xiàng)目。
”快速行動“是我們的價值觀之一。這意味著到Facebook來的人創(chuàng)建App的速度必須比在其他任何地方都快，包括自主開發(fā)。到我們這來的員工可以使用我們的基礎(chǔ)設(shè)施和AI工具來創(chuàng)建那些依靠自己需要很長時間的東西。創(chuàng)建讓工程更高效的內(nèi)部工具對任何的科技公司來說都是非常重要的，而Facebook在對待這一問題上更加重視。在這里，我要給我們的團(tuán)隊(duì)一個大大的贊！
盡管這個挑戰(zhàn)已經(jīng)結(jié)束了，但我仍將繼續(xù)優(yōu)化Jarvis，因?yàn)槲颐刻於荚谑褂盟页３０l(fā)現(xiàn)我想添加的新功能。
近期，下一步工作應(yīng)該是創(chuàng)建安卓App，在更多的房間里放置Jarvis語音終端，連接更多的家電。希望未來能夠用Jarvis來控制我的Big Green Egg碳爐。
未來，我還會探索如何教會Jarvis如何自主學(xué)習(xí)的技能，而不是讓我去教它執(zhí)行特定的任務(wù)。如果我要花費(fèi)一年的時間來應(yīng)對這個挑戰(zhàn)，那么我會專注于理解學(xué)習(xí)本身這個過程是如何運(yùn)作的。
最后，隨著時間的推移，如果能夠找到方法讓Jarvis可以讓全世界的人都使用將會更有趣。我考慮過開源我的代碼，但是目前Jarvis跟我自己的家、家里的電器以及網(wǎng)絡(luò)設(shè)置的聯(lián)系太緊密了。如果我能創(chuàng)建一個能夠?qū)⒏嗤ㄓ玫闹悄芗彝スδ芗掀饋淼膌ayer，或許那時候我會開源。當(dāng)然，那可能會是創(chuàng)建新產(chǎn)品的好的基礎(chǔ)。
創(chuàng)建Jarvis是一個有趣的智力挑戰(zhàn)。它給了我在創(chuàng)建AI工具方面的直接經(jīng)驗(yàn)，而AI對我們的未來非常重要。
我曾經(jīng)預(yù)測，在未來的5-10年內(nèi)，我們的AI系統(tǒng)將比人類的感官更加準(zhǔn)確——視覺、聽覺、觸覺，以及其他的領(lǐng)域，比如語言等。
與此同時，我們距離了解學(xué)習(xí)的本質(zhì)仍然很遙遠(yuǎn)。我今年所做的一切，包括自然語言、面部識別、語音識別等等，都是基于基礎(chǔ)模式識別技術(shù)的變體。我們知道如何給一臺計(jì)算機(jī)很多例子來讓它的識別更精確，但是我們?nèi)匀徊恢缹囊粋€領(lǐng)域中獲得的想法應(yīng)用到另一個完全不同的領(lǐng)域中去。
今年，我在構(gòu)建Jarvis上花了差不多100個小時?，F(xiàn)在我有了一個能理解我而且能為我做很多事的系統(tǒng)。但是就算我花1000個小時，估計(jì)也打造不出一個能完全自主學(xué)習(xí)新技能的系統(tǒng)。除非我在AI技術(shù)上取得了基礎(chǔ)性的突破。
在某種程度上，AI離我們很近，也離我們很遠(yuǎn)。但是AI未來能夠能夠做的事會超出很多人的預(yù)期：駕駛汽車，治療疾病，發(fā)現(xiàn)行星，理解媒體。這些都會對我們所處的世界產(chǎn)生重大影響，但是我們?nèi)匀恍枰宄降资裁床攀钦嬲闹腔邸?/p>
總之，這是一個很棒的挑戰(zhàn)。它教會我的東西比我預(yù)期的要多得多。我不僅了解了AI，還了解到了家居自動化和Facebook內(nèi)部技術(shù)的知識。這正是這些有這些挑戰(zhàn)有趣的地方。在未來的幾周里，我會分享我給自己制定的2017年的挑戰(zhàn)。
via Facebook
【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時間提供海外科技動態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。
簡歷投遞至 wudexin@leiphone.com，工作地 北京。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
