雷鋒網(wǎng) AI 研習(xí)社按：人工智能當(dāng)前正處于爆發(fā)階段，語音交互作為人工智能的重要組成部分正在各行業(yè)全面的落地，在人機(jī)進(jìn)行語音交互的過程中，機(jī)器需要通過耳朵實(shí)現(xiàn)聽覺的作用。

在雷鋒網(wǎng) (公眾號(hào)：雷鋒網(wǎng)) 旗下學(xué)術(shù)頻道 AI 科技評論的數(shù)據(jù)庫項(xiàng)目「AI 影響因子」中，憑借訊飛病灶分割比賽優(yōu)勝團(tuán)隊(duì)專訪、訊飛與哈工大聯(lián)合實(shí)驗(yàn)室刷新 SQuAD 成績的突出表現(xiàn)、前 MSRA 副院長李世鵬任訊飛 AI 研究院聯(lián)席院長，排在「AI 影響因子」前列。

近期，在雷鋒網(wǎng)研習(xí)社公開課上，科大訊飛產(chǎn)品經(jīng)理李偉為大家科普了當(dāng)前正熱的智能音箱背后的功臣——麥克風(fēng)陣列，并具體講解了雙麥克風(fēng)陣列和該方案在各領(lǐng)域的廣泛應(yīng)用。李偉也希望借此解決大家在語音交互 AI 前端學(xué)習(xí)上的一些疑問。視頻回放地址：http://www.mooc.ai/open/course/498

李偉，科大訊飛產(chǎn)品經(jīng)理，負(fù)責(zé)麥克風(fēng)陣列和智能家電領(lǐng)域的語音交互解決方案，曾就職于惠而浦（中國）股份有限公司先后擔(dān)任軟件工程師和智能家電產(chǎn)品經(jīng)理，重慶郵電大學(xué)生物信息學(xué)學(xué)士，重慶郵電大學(xué)軟件工程碩士。

分享主題：人機(jī)交互如何選擇合適的「耳朵」——淺談雙麥克風(fēng)陣列及行業(yè)應(yīng)用

分享提綱

1. 人機(jī)交互的「耳朵」——麥克風(fēng)陣列簡介

2. 如何選擇麥克風(fēng)陣列——選擇麥克風(fēng)陣列的四要素

3. 雙麥克風(fēng)陣列簡介和行業(yè)應(yīng)用介紹

首先來介紹什么是麥克風(fēng)陣列，提到語音交互，有一個(gè)始終繞不開的話題：智能音箱。眾所周知，亞馬遜推出的 Echo 一下子帶火了整個(gè)智能音箱市場，語音交互也開始獲得人們的關(guān)注，越來越多的消費(fèi)者開始購買語音交互智能設(shè)備。但大家在使用語音交互設(shè)備（如智能音箱）時(shí)，往往發(fā)現(xiàn)不同產(chǎn)品的語音交互效果差別很大，這主要由于智能音箱在聽覺設(shè)計(jì)上采用了不同的麥克風(fēng)陣列方案造成的，比如最新推出的天貓精靈方糖和叮咚 Mini2。

方糖使用雙麥克風(fēng)陣列方案（左），叮咚 Mini2（右）使用 6 麥克風(fēng)陣列方案

什么是麥克風(fēng)陣列？

工業(yè)級麥克風(fēng)陣列，一般是由數(shù)十和上千個(gè)麥克風(fēng)按照一定的規(guī)則排列組合，主要應(yīng)用于工業(yè)，軍工等領(lǐng)域。

消費(fèi)級麥克風(fēng)陣列，是對工業(yè)級麥克風(fēng)陣列的大大簡化，由于主要考慮成本因素，所以通常消費(fèi)級麥克風(fēng)陣列麥克風(fēng)數(shù)量不超過十個(gè)。

近些年，隨著語音交互方案的成熟，消費(fèi)級的麥克風(fēng)陣列開始逐漸普及，本次分享主要針對消費(fèi)級麥克風(fēng)陣列。

麥克風(fēng)陣列（以下均指消費(fèi)級）的作用

麥克風(fēng)陣列主要模擬人耳的聽覺作用，人的耳朵不僅可以聽到聲音，還具備分辨聲源類型和方向的能力。這樣，我們就可以選擇聽到喜歡的聲音，如在辦公室，當(dāng)我和同事交流的時(shí)候，會(huì)忽略周圍其他的聲音。其實(shí)麥克風(fēng)陣列就是機(jī)器的耳朵，不僅采集音頻信號(hào)，還為了更好的聲源辨別和噪音過濾，從而保證人機(jī)交互的效果。

由于人耳具有十分復(fù)雜的結(jié)構(gòu)，麥克風(fēng)陣列（尤其是消費(fèi)級麥克風(fēng)陣列）很難達(dá)到人耳的辨別和調(diào)整能力。目前，麥克風(fēng)陣列主要具備四大功能。

聲源定位：準(zhǔn)確來說，麥克風(fēng)實(shí)現(xiàn)的是聲源側(cè)向，而不是精準(zhǔn)的定位，它的主要作用就是偵測到聲源的方位以便后續(xù)的波束形成。通常聲源定位會(huì)在語音喚醒階段實(shí)現(xiàn)。

噪聲抑制：這里的噪聲一般指環(huán)境噪音，比如空調(diào)吹風(fēng)的聲音，窗外汽車行駛的聲音等等，這類噪音通常不會(huì)掩蓋正常的語音，只是影響了語音的清晰度，麥克風(fēng)陣列主要依靠波束形成抑制主瓣外的聲音干擾來實(shí)現(xiàn)噪聲抑制的功能。

增益調(diào)節(jié)：主要解決拾音距離變化的問題，由于遠(yuǎn)場的交互距離可大可小，所以聲源發(fā)聲的大小也不同，比如人離麥克風(fēng)較遠(yuǎn)或人發(fā)出的聲音較小的時(shí)候，麥克風(fēng)拾取的聲源信號(hào)就會(huì)比較小，這時(shí)需要對麥克風(fēng)收集的信號(hào)進(jìn)行放大處理，從而提高語音識(shí)別的準(zhǔn)確性。當(dāng)人湊著麥克風(fēng)講話的時(shí)候，或者外界發(fā)出的聲音較大的時(shí)候，麥克風(fēng)采集的信號(hào)較大，甚至超出麥克風(fēng)可以采集到的范圍，這時(shí)需要麥克風(fēng)陣列進(jìn)行相關(guān)的處理，適當(dāng)?shù)乃p聲源信號(hào)，從而達(dá)到拾取聲源的有效平衡。

回聲消除：這里的回聲并非傳統(tǒng)意義上的回聲，它指的是語音交互設(shè)備自己發(fā)出的聲音，比如音箱在播放音樂的時(shí)候，用戶想打斷它，此時(shí)，回聲指的是音箱本身播放音樂的聲音。如果麥克風(fēng)陣列沒有回聲消除功能，那么麥克風(fēng)采集的聲音就包含人發(fā)出的指令聲音和音樂聲音，在這種情況下，顯然會(huì)對在語音識(shí)別的效果產(chǎn)生干擾，回聲消除的目的就是要消除音樂的聲音而保留用戶的人聲。

麥克風(fēng)主要可以抑制四類噪音：分別為混響，背景噪音，人聲干擾和回聲。

混響：人講話的聲音被各種障礙物反射產(chǎn)生的聲音，如被墻壁，地板，天花板等障礙物反射，混響的聲音通常距離聲源發(fā)出的聲音時(shí)間間隔較短，人耳主觀上感覺不到，但機(jī)器在采集的時(shí)候往往可以采集到。

人聲干擾：為什么要注意人聲干擾？由于實(shí)際上麥克風(fēng)陣列在解決噪音干擾的時(shí)候，人聲干擾會(huì)對麥克風(fēng)的識(shí)別效果產(chǎn)生最大的影響，因?yàn)橥鋈藱C(jī)交互的時(shí)候，麥克風(fēng)陣列收集的聲源的聲音就是人聲。

噪聲和回聲前面剛剛介紹過。

實(shí)際上，當(dāng)前主流的智能音箱采用的麥克風(fēng)陣列列方案是不太一樣的，比如亞馬遜的 echo 最早使用的是 6+1 麥克風(fēng)方案；Google Home 使用的是雙麥克風(fēng)方案；叮咚音箱使用的是 7+1 麥克風(fēng)方案；阿里去年推出的天貓精靈采用的是 6 麥克風(fēng)陣列方案。

目前訊飛向外提供三種構(gòu)型的麥克風(fēng)陣列，分別是線性，環(huán)形和立體陣列。

如何選擇麥克風(fēng)陣列？

根據(jù)我近些年與開發(fā)者和用戶溝通得出的經(jīng)驗(yàn)總結(jié)，選擇麥克風(fēng)陣列通常有四個(gè)要素，分別為使用場景，ID&MD 設(shè)計(jì)，交互鏈路和產(chǎn)品定價(jià)。

使用場景

關(guān)于使用場景，我想通過兩個(gè)例子進(jìn)行介紹，不少商場正在使用機(jī)器人來替代人類進(jìn)行導(dǎo)購服務(wù)，商場周圍的環(huán)境非常嘈雜（一般能達(dá)到 70 分貝以上），這種環(huán)境對降噪的要求很高，一般需要選擇抗噪能力比較強(qiáng)的麥克風(fēng)陣列，同時(shí)由于人和機(jī)器的相對位置變化性較大，所以機(jī)器人往往需要具備 360 度的喚醒定位功能，也就是當(dāng)用戶處于機(jī)器人的側(cè)面并發(fā)出指令的時(shí)候，希望機(jī)器人可以調(diào)轉(zhuǎn)到用戶所處的方向，因此在做商用機(jī)器人解決方案的時(shí)候，通常會(huì)選擇環(huán)形 6 麥或以上的陣列，這樣的話，整體抗噪和定位的效果能達(dá)到該場景的要求。

第二個(gè)例子，如電冰箱這個(gè)場景中，由于家居場景比較安靜（通常在 40 到 55 分貝左右），該場景對麥克風(fēng)陣列的抗噪音要求并不是很高，因此可以選擇抗噪能力稍弱的麥克風(fēng)陣列。另外，如冰箱這類家電往往是靠墻放置，因此不需要 360 度的喚醒定位，通常有時(shí)候不需要聲源定位就可以進(jìn)行遠(yuǎn)場拾音。還有一點(diǎn)需要說明，家電產(chǎn)品通常對節(jié)能環(huán)保要求較高，功耗要求也比較嚴(yán)格。因此選擇較少的麥克風(fēng)陣列可以保證整體的功耗，所以通常在冰箱上會(huì)使用雙麥陣列方案或四麥陣列方案。

ID&MD 設(shè)計(jì)

設(shè)備植入麥克風(fēng)陣列時(shí)，通常需要對產(chǎn)品的外觀和結(jié)構(gòu)件進(jìn)行開口，這對整體的外觀設(shè)計(jì)和產(chǎn)品都會(huì)產(chǎn)生一定的考驗(yàn)，外觀上需要結(jié)合機(jī)器的整體外觀，結(jié)構(gòu)上主要看聲學(xué)整體的效果。

影響聲學(xué)效果的主要因素，包括麥克風(fēng)陣列的構(gòu)型，孔徑，孔深，開孔率，聲腔的密閉性以及防震防水等，比如圖中的無葉風(fēng)扇，當(dāng)我們確定了在頂部采用四麥陣列方案之后，就需要考慮如何對這個(gè)方案進(jìn)行優(yōu)化，對此產(chǎn)品上進(jìn)行了兩點(diǎn)處理：1，在風(fēng)扇頂部加厚處理，這樣可使風(fēng)扇整體更美觀，頂部加厚處理還有助于開孔和加大開孔率，麥克風(fēng)拾音也更便捷。2，考慮到底部為風(fēng)扇電機(jī)的噪音源，因此將麥克風(fēng)置于頂部。

交互鏈路

由于各技術(shù)廠商的算法體系不同，在選擇語音交互方案時(shí)，最好能選擇經(jīng)過前端和云端協(xié)同優(yōu)化的算法，比如訊飛的云端識(shí)別會(huì)針對自身的麥克風(fēng)序列的音頻數(shù)據(jù)進(jìn)行大量的優(yōu)化，因此在云端和前端的配合上較其他家具備明顯優(yōu)勢：整體的響應(yīng)速度更快，準(zhǔn)確性更高，開發(fā)周期會(huì)更短。而如果麥克風(fēng)陣列和后端的云端使用不同廠家的方案，那么在后期的響應(yīng)、協(xié)同的配合上、準(zhǔn)確性，以及開發(fā)階段的聯(lián)調(diào)和配合上，都會(huì)遭遇相當(dāng)大的考驗(yàn)。

產(chǎn)品定價(jià)

麥克風(fēng)陣列的使用成本通常包括四塊：分別為麥克風(fēng)，模組，喇叭以及其他配件。目前，對麥克風(fēng)陣列來講，最大的區(qū)別主要體現(xiàn)在麥克風(fēng)和模組上，比如天貓精靈的方糖音箱采用的就是雙麥克風(fēng)陣列方案，叮咚 mini2 為六麥陣列方案。另外在模組上，六麥陣列要處理六路的麥克風(fēng)拾取的音頻信號(hào)，因此在芯片的配置和數(shù)模轉(zhuǎn)換的處理上都需要更大的開銷，所以從產(chǎn)品定價(jià)上來看，可以理解天貓精靈方糖定價(jià)為 199 元，而叮咚 mini2 定價(jià)為更高的 299 元。

通過上面的四個(gè)要素可以總結(jié)出，選擇麥克風(fēng)陣列，要核心考慮不同麥克風(fēng)陣列的特點(diǎn)。目前訊飛常用的麥克風(fēng)陣列方案主要有雙麥陣列方案，環(huán)形六麥陣列和雙環(huán)八麥陣列方案。

雙麥陣列方案：采用雙麥設(shè)計(jì)，因此成本和功耗均低且 ID 和 MD 設(shè)計(jì)簡單靈活，但抗噪音干擾較弱。

環(huán)形六麥陣列：麥克風(fēng)數(shù)量增加到 6 個(gè)，成本和功耗也隨之變高，優(yōu)點(diǎn)是在環(huán)形平面上降噪效果好。

雙環(huán)八麥陣列方案：可進(jìn)行空間立體的群像拾音，由于麥克風(fēng)數(shù)量眾多，導(dǎo)致成本和功耗更高。另外，由于采用立體結(jié)構(gòu)的 ID 和 MD 設(shè)計(jì)，設(shè)計(jì)起來相對復(fù)雜。

由于雙麥克風(fēng)陣列的性價(jià)比較高，因此其使用領(lǐng)域也相當(dāng)廣闊。接下來介紹雙麥克風(fēng)陣列以及行業(yè)應(yīng)用。

雙麥克風(fēng)陣列以及行業(yè)應(yīng)用

目前主流的遠(yuǎn)場雙麥克陣列方案，包括科勝訊的 CX20921 方案和訊飛雙麥 DSP 方案。

訊飛雙麥 DSP 目前對外提供一套模組方案：

即通過 DSP 芯片和 ADC，F(xiàn)lash 的整合，實(shí)現(xiàn)一套完整的交互模組，該模組的特點(diǎn)為集成簡單，開發(fā)便捷。當(dāng)用戶在使用這套模組的時(shí)候，前端麥克風(fēng)將采集到的音頻輸入到模組，模組輸出 16K 和 32Bit 的數(shù)字信號(hào)，傳給識(shí)別端，這樣就可形成前端的遠(yuǎn)場拾音。整體方案支持麥克風(fēng)的間距在 20 到 120mm，這樣在整個(gè) ID 和 MD 的結(jié)構(gòu)設(shè)計(jì)上會(huì)更加靈活。

訊飛雙麥陣列芯片方案

科大訊飛支持芯片化的定制方案，該方案基于核心算法處理的 DSP 芯片+訊飛的算法 SDK。方案的主要特性：硬件設(shè)計(jì)靈活。該方案還存在以下幾個(gè)特點(diǎn)：高集成封裝，這顆 DSP 芯片的高集成封裝在尺寸上可達(dá)到 1.8*2.1mm，可以應(yīng)用于手機(jī)和穿戴設(shè)備上；支持?jǐn)?shù)字麥克風(fēng)直接接入的方式；由于該 DSP 芯片也是專為手機(jī)設(shè)計(jì)的音頻處理芯片，所以整個(gè)芯片方案功耗很低。

該方案里植入了訊飛的雙麥陣列降噪算法，其中的算法特性見圖中的四點(diǎn)描述。

遠(yuǎn)場拾音：可支持 3 米的遠(yuǎn)場拾音，在安靜環(huán)境下可達(dá)到 5 到 10 米。

語音喚醒：雙麥方案里植入的算法可支持中英文的語音喚醒。另外，由于采用了低功耗的 CNN 喚醒技術(shù)，因此在待機(jī)喚醒狀態(tài)下的功率很低。

噪音抑制：可以抑制常見的混響干擾聲和環(huán)境噪音。

回聲消除：近期，科大訊飛在雙麥陣列的回聲效果上進(jìn)行了優(yōu)化，目前可支持全雙工立體聲的回聲消除，且設(shè)備本身發(fā)出的播報(bào)音達(dá)到 80 到 90 分貝，該效果通常可滿足大多數(shù)產(chǎn)品的需求，甚至包括很多音箱的需求。

目前，不少用戶都來提關(guān)于「雙麥陣列喚醒率」的問題，我在這里跟大家解釋一下，為什么沒有給出喚醒率的具體指標(biāo)？主要因?yàn)閱拘崖适歉鶕?jù)周圍外部環(huán)境的因素和麥克風(fēng)構(gòu)型，再考慮測試環(huán)境的影響會(huì)導(dǎo)致實(shí)際測試到的喚醒率效果不一樣，這就要求在實(shí)際評估喚醒率的時(shí)候，需要綜合考慮外部所有的因素來進(jìn)行評估。

就目前的應(yīng)用場景來看，雙麥陣列方案已經(jīng)覆蓋到了很多領(lǐng)域，下圖為主要領(lǐng)域的產(chǎn)品舉例。

機(jī)器人領(lǐng)域：使用到語音交互的主要是商用服務(wù)和消費(fèi)級機(jī)器人，雙麥陣列方案主要應(yīng)用于陪伴型，消費(fèi)級機(jī)器人以及服務(wù)機(jī)器人上。

車載領(lǐng)域：目前大多數(shù)車載帶屏設(shè)備都使用基于雙麥陣列的交互方案。另外，車載類配件也推薦使用雙麥陣列方案，目前市場上使用雙麥陣列案例有，訊飛去年推出的小飛魚智能車載助手。

智能家居場景：先說智能音箱，除了 google Home 外，亞馬遜的 echo 以及阿里的天貓精靈都采用了雙麥陣列方案，因此在未來的音箱領(lǐng)域，雙麥克風(fēng)方案會(huì)受到越來越多的關(guān)注，另在冰箱，空調(diào)或家庭空調(diào)的控制面板中，都有使用雙麥方案。

手機(jī)及可穿戴設(shè)備：蘋果 air pod 采用的也是雙麥方案，華為更早推出的 B2 手環(huán)也是基于雙麥的降噪方案。

隨著雙麥陣列方案的不斷優(yōu)化，應(yīng)用場景也越來越多，歡迎廣大開發(fā)者使用訊飛的雙麥克風(fēng)陣列方案。

另外，講師還回答了直播中大家提出的關(guān)于「人機(jī)交互」和「單麥克風(fēng)的局限性」的問題。雷鋒網(wǎng) AI 研習(xí)社將問答內(nèi)容整理如下：

Q & A

Q：使用雙麥克風(fēng)陣列方案在人機(jī)語音交互中能做到什么效果？

A：家居，汽車，課堂等噪音較少的場景可以使用，戶外情況下可用于耳機(jī)，手環(huán)等穿戴設(shè)備，3 米內(nèi)抗干擾，安靜環(huán)境下交互距離可達(dá) 5 到 10 米；可以滿足智能音箱，陪伴機(jī)器人在較大音量播放音頻內(nèi)容時(shí)的打斷效果；實(shí)際的評測過程中應(yīng)盡量采用真實(shí)使用場景下的體驗(yàn)和測試，避免在辦公室等外界干擾較大的環(huán)境或混響大（玻璃較多）的環(huán)境中進(jìn)行測試。

Q：簡單介紹一下人機(jī)交互？

A：人機(jī)交互的模式有很多種，這里提到的語音交互屬于人機(jī)交互的一種，除此之外還包括視覺類的交互和傳感類的交互，比如通常使用的家電或消費(fèi)類電子產(chǎn)品都帶有很多傳感器，比如觸摸手機(jī)屏幕，指紋解鎖，甚至是通過按鍵，這類都叫人機(jī)交互。未來的人工智能更多的是所有交互的一個(gè)智能體，其中跟人類最接近的是語音和視覺交互。可以這樣說，人接收到的信息，80% 是通過視覺來接收到的，但人向外傳遞的信息 90% 通過語音實(shí)現(xiàn)。因此視覺和語音會(huì)在未來的人機(jī)交互中占有很大的比例。

Q：單麥克風(fēng)的局限性？

A：目前也有很多產(chǎn)品在考慮使用單麥克風(fēng)方案，可能是從成本上或者是從場景本身（靜場場景）來考慮，或是噪音比較小的場景。如果從成本的考慮的話，隨著未來產(chǎn)品的不斷迭代，雙麥陣列會(huì)漸漸與單麥陣列的成本差別越來越小，同時(shí)雙麥陣列可以應(yīng)付一些突發(fā)的情況，所以雙麥陣列會(huì)逐漸替代單麥克風(fēng)陣列。

Q：為什么需要麥克風(fēng)陣列？

A：實(shí)際的語音交互需要麥克風(fēng)陣列，打個(gè)比方，如果人類沒有耳朵，就不能對外界的聲音進(jìn)行拾取，只能通過眼睛或其他五感（如觸覺等）來獲取外界信息，這樣就缺少了對于外界的聽覺感受。

以上就是本期嘉賓的全部分享內(nèi)容，本次講師李偉也在公開課視頻的最后附有聯(lián)系方式，大家如有問題想要交流的可以前往查看。更多公開課視頻請到雷鋒網(wǎng) AI 慕課學(xué)院觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社，可獲取最新公開課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。