背景：人工智能公司創(chuàng)新奇智的工業(yè)視覺產(chǎn)品團隊依托ManuVision工業(yè)視覺平臺，在工業(yè)制造的多個典型場景中，積累了寶貴的AI技術(shù)賦能與產(chǎn)品落地經(jīng)驗。本文以問答方式與創(chuàng)新奇智的工業(yè)視覺產(chǎn)品負責(zé)人探討了AI在工業(yè)視覺領(lǐng)域落地面臨的現(xiàn)實挑戰(zhàn)，以及創(chuàng)新奇智團隊?wèi)?yīng)對這些挑戰(zhàn)的核心方法論與技術(shù)產(chǎn)品策略。

問：以AI為代表的前沿科技在工業(yè)制造特別是工業(yè)視覺場景中能貢獻哪些核心價值？

答：工業(yè)視覺是工業(yè)自動化的核心領(lǐng)域，包括檢測、識別、測量、定位等關(guān)鍵任務(wù)。擅長解決視覺感知問題的AI技術(shù)已成為創(chuàng)造價值的重要切入點。今天，全球制造業(yè)面臨巨大的產(chǎn)業(yè)升級壓力。除了頭部少數(shù)大型生產(chǎn)企業(yè)，大部分制造業(yè)生產(chǎn)線面臨需求快速迭代和信息化、自動化、柔性化不足的矛盾：一方面，快速變化的全球市場呼喚按需生產(chǎn)、按需定制、按需迭代的高效產(chǎn)線；另一方面，數(shù)據(jù)采集難、連通難，自動化程度低，自動化工位之間缺少協(xié)同，良品率難于定量評估和精確歸因等現(xiàn)實問題，共同構(gòu)成了制造業(yè)效率提升的整體挑戰(zhàn)。

大部分制造業(yè)企業(yè)需要在較短的建設(shè)周期里，大跨步補齊信息化、自動化、智能化這三塊短板，實現(xiàn)跨越式發(fā)展。物聯(lián)網(wǎng)、大數(shù)據(jù)、機器視覺、自動規(guī)劃與決策、自動控制等前沿科技是此過程中的關(guān)鍵技術(shù)。其中，AI相關(guān)的技術(shù)更是由“制造”到“智造”躍升的基礎(chǔ)。

問：具體到工業(yè)視覺場景，為什么工業(yè)視覺需要人工智能？

工業(yè)視覺要解決的是如何“看”清制造場景與如何“感知”“理解”關(guān)鍵信息的問題。當(dāng)前，光學(xué)成像技術(shù)，多傳感器融合技術(shù)，感光和光學(xué)處理芯片技術(shù)大幅進步，使“看得更小、看得更清”成為現(xiàn)實。在此基礎(chǔ)上，AI恰好可以幫助我們“感知更準(zhǔn)確、理解更深刻”。

以電子制造行業(yè)為例，我國相關(guān)生產(chǎn)線上與視覺檢測有關(guān)的工位每年人工成本約60億元。前沿科技的切入，會將視覺檢測這一工序從較粗放、難量化的勞動密集型工位升級為可精準(zhǔn)定量、可完整溯源、可智能集成數(shù)據(jù)的全自動工位，帶來生產(chǎn)效率和產(chǎn)品質(zhì)量的大幅提升。

問：在工業(yè)視覺領(lǐng)域規(guī)劃、定義、設(shè)計一款產(chǎn)品或解決方案，是一種怎樣的體驗？

挑戰(zhàn)很大。要說體驗么，“苦其心志、勞其筋骨”吧。在工業(yè)視覺領(lǐng)域，一個產(chǎn)品的正向開發(fā)會經(jīng)歷需求調(diào)研、總體方案設(shè)計、關(guān)鍵技術(shù)驗證、子系統(tǒng)方案設(shè)計、樣機試制、現(xiàn)場方案驗證、產(chǎn)品發(fā)布和市場推廣等環(huán)節(jié)，每個階段都要產(chǎn)品經(jīng)理帶領(lǐng)團隊在正確的方向上，投入全部精力去打磨和優(yōu)化。

上述過程中，產(chǎn)品經(jīng)理的思路需要在宏觀和微觀之中隨時切換：在考慮客戶需求、產(chǎn)品定位時需要宏觀思考；在考慮技術(shù)實現(xiàn)時需要聚焦在各個關(guān)鍵層級的技術(shù)細節(jié)；在布局產(chǎn)品線時需要考慮差異化配置對各類客戶的匹配；在現(xiàn)場方案驗證時需要關(guān)注具體數(shù)據(jù)和定制化需求。

但在這個領(lǐng)域做產(chǎn)品經(jīng)理也是成就感滿滿的：工業(yè)視覺類產(chǎn)品，特別是自動化視覺設(shè)備是最能夠帶給人成就感的產(chǎn)品。當(dāng)產(chǎn)品成功交付并在客戶產(chǎn)線穩(wěn)定運轉(zhuǎn)時，客戶的肯定就是對產(chǎn)品開發(fā)團隊的最好回報。

問：這個領(lǐng)域，有哪些不同于其他領(lǐng)域的產(chǎn)品規(guī)律？

首先，需求條目多：在工業(yè)制造領(lǐng)域，客戶最關(guān)注的兩個指標(biāo)是產(chǎn)能和質(zhì)量。圍繞這兩個看似矛盾的指標(biāo)，工業(yè)視覺的產(chǎn)品設(shè)計可拆解為多項設(shè)計指標(biāo)：

• 產(chǎn)能相關(guān)的主要指標(biāo)包括上下游交接方式，產(chǎn)品/設(shè)備/儀器TT（tack time）時間，產(chǎn)品穩(wěn)定性（MTBF、MTBR），機種切換時間等。

• 質(zhì)量相關(guān)的主要指標(biāo)包括檢測/測量準(zhǔn)確率，過漏檢，重復(fù)性等。

• 由于工業(yè)現(xiàn)場的特殊環(huán)境（恒溫、恒濕、超凈、安全）需要考慮的主要指標(biāo)包括產(chǎn)品的ESD，重量，急停，F(xiàn)FU等。

行業(yè)內(nèi)客戶在方案溝通階段，均會給出詳細的規(guī)格要求，有時甚至覆蓋幾百到上千條規(guī)格定義。

其次，需求來源多：工業(yè)制造領(lǐng)域的產(chǎn)品，有鮮明的企業(yè)級（ToB）產(chǎn)品的特征，其決策方、購買方和使用方通常不是同一團隊。例如，決策方可能是工程技術(shù)部或設(shè)備制造部，購買方是采購部門，使用方是生產(chǎn)部門。不同階段面向的客戶部門不同，不同部門對產(chǎn)品的訴求也不同。

再次，定制化程度高：由于不同客戶的產(chǎn)線布局不同，產(chǎn)線線速不同，上下游制程設(shè)備不同，甚至電梯高度不同（決定設(shè)備最高的高度），因此交付給每個客戶的產(chǎn)品有較大的定制化。但相同的工業(yè)視覺產(chǎn)品系列，其核心功能應(yīng)保持穩(wěn)定。

問：工業(yè)視覺技術(shù)可抽象為如何“看”、如何“感知/理解”、如何“規(guī)劃/決策”、如何“執(zhí)行”等幾個方面。以“看”為例，相關(guān)的成像技術(shù)、照明技術(shù)等今天達到了何種水平？

從成像芯片維度（更精、更優(yōu)、更廣、更快）看：

• 芯片工藝制程水平的提高使得大靶面的CMOS芯片成為主流工業(yè)相機芯片，2M→12M→29M→60M→71M→150M的演進使工業(yè)檢測能夠觸達微米級精度，高滿井容量、高動態(tài)范圍、低噪聲的特性大幅提高了工業(yè)相機的成像質(zhì)量；

• 高精度的鍍膜工藝實現(xiàn)了像素級的鍍膜，基于上述技術(shù)的偏振相機、高光譜相機能夠在工業(yè)檢測場景獲取待檢測產(chǎn)品更多維度的信息；

• TDI技術(shù)能大幅降低曝光時間，提高相機的掃描頻率，配合高速圖像采集卡，將視覺檢測搭載在高線速的自動化產(chǎn)線。

從照明光源維度看：十年前機器視覺行業(yè)的光源產(chǎn)品基本被日本企業(yè)壟斷。今天，國內(nèi)機器視覺光源廠家迅速崛起，光源產(chǎn)品的種類和質(zhì)量不斷提升。目前常見的LED光源（條形光、環(huán)形光、同軸光、穹頂光、背光源）及光源控制器已廣泛應(yīng)用在各種視覺系統(tǒng)，國內(nèi)供應(yīng)商也積極配合各類需求和場景的打光驗證和光源方案。同時，國內(nèi)各光源供應(yīng)商積極推進自主光源甚至視覺系統(tǒng)的研發(fā)，例如多角度線光源、線掃分時曝光系統(tǒng)、視覺一體化控制器等。此外，投影結(jié)構(gòu)光、激光線光源也在多項3D輪廓或缺陷檢測場景得到應(yīng)用。

成像方案維度：目前的工業(yè)視覺產(chǎn)品和設(shè)備成像方案多樣，面陣方案（靜止或飛拍檢測）、線陣方案、線激光掃描、編碼結(jié)構(gòu)光、白光共聚焦等多種方案已經(jīng)得到成熟應(yīng)用，而復(fù)雜的多工位檢測設(shè)備常常集成上述多種方案，實現(xiàn)更高成像率的覆蓋和3D輪廓測量。相信在不久的將來，計算成像、高光譜成像、光場相機等新技術(shù)會進一步集成在工業(yè)視覺方案中。

問：“光”和“光學(xué)”是如何影響著具體項目的技術(shù)實現(xiàn)的？想在產(chǎn)品中用好光學(xué)技術(shù)，在設(shè)計上要著重思考哪些問題？

作為光學(xué)工程師，“Garbage in, garbage out（垃圾圖像進，垃圾結(jié)果出）”是基本理念，光學(xué)系統(tǒng)對工業(yè)視覺項目的影響也可見一斑。

總體方案層面：復(fù)雜的工業(yè)視覺設(shè)備基本都會集成多種成像方案，因此也會有多工位的設(shè)計，只有光學(xué)方案確定，才能夠確定設(shè)備的工位分布、設(shè)備布局。

光學(xué)系統(tǒng)對產(chǎn)品的結(jié)構(gòu)和自動化設(shè)計有約束：受需求驅(qū)動，工業(yè)視覺產(chǎn)品的分辨率高，同時還要考慮設(shè)備的可調(diào)試、可維護等DFX需求，視覺系統(tǒng)通常需要預(yù)留調(diào)節(jié)機制。合格的光學(xué)工程師會在設(shè)計光學(xué)方案的同時輸出視覺方案對機臺抖動、定位重復(fù)性、視覺機構(gòu)調(diào)節(jié)自由度、各自由度調(diào)節(jié)范圍、載臺平面度等指標(biāo)約束，只有這些指標(biāo)明確，才能夠讓下游設(shè)計不返工、調(diào)試變輕松。

光學(xué)系統(tǒng)對算法性能有指標(biāo)約束：在工業(yè)檢測場景中，工業(yè)視覺檢測裝備的核心指標(biāo)為缺陷檢出率和檢測準(zhǔn)確率等。例如，客戶要求90%的缺陷檢出率，一般可拆解為x%的缺陷成像率乘以y%的在成像中的缺陷檢出率。兩項指標(biāo)的乘積約為90%，則單項指標(biāo)還需要高不少。光學(xué)工程師在進行成像驗證時需要和算法工程師緊密溝通，確認(rèn)缺陷成像是否滿足算法檢出的需求，以保證缺陷檢出率為最終目標(biāo)。

總體上，我們認(rèn)為，工業(yè)視覺的產(chǎn)品研發(fā)和設(shè)計一定要光學(xué)先行。視覺工程師除了設(shè)計光學(xué)方案之外，還需要投大量精力在先進的成像方式預(yù)研、先進產(chǎn)品預(yù)研等課題上。例如，在LCD時代預(yù)研OLED產(chǎn)品和制程，在OLED時代預(yù)研QLED和Micro LED，這樣在上游產(chǎn)品和制程不斷更迭的過程中，知識積累才不會落伍。簡單說，視覺工程師應(yīng)和自動化工程師一樣——甚至需要更加——了解制程和工藝。

問：在“感知”層面，工業(yè)視覺軟硬件組件到底需要對工位場景感知到什么程度才能滿足業(yè)務(wù)需求？

感知有多重含義：在檢測場景，視覺產(chǎn)品實現(xiàn)缺陷的準(zhǔn)確檢測，又快又好地替代人工；在對位場景，視覺產(chǎn)品識別待抓取/組裝/壓接等操作的物體并精確反饋物體位置；在測量場景，視覺產(chǎn)品對制程重點關(guān)注的幾何量進行測量，反饋準(zhǔn)確的測量結(jié)果。上述場景都需要視覺算法的合理選取、設(shè)計和配置。

對檢測場景，感知的基礎(chǔ)需要建立在客戶的人工檢測基準(zhǔn)上。對于膜材、卷料、玻璃等各類待檢測產(chǎn)品和工藝，只要存在人工檢測工位，就會有具體、詳細的人工檢測基準(zhǔn)。通過各類算法/模型將圖像上的“疑似異?！睓z出是第一步（特征檢測、對象檢測）。之后，如何讀懂客戶的人工判定邏輯并設(shè)計相應(yīng)的算法邏輯更為重要。例如，常見的人工判定基準(zhǔn)會規(guī)定缺陷的長、寬、面積、點群距離、深度等，我們的算法邏輯也需要以此為依據(jù)進行設(shè)計。

對于測量場景，常見方式包括2D和3D測量。此類場景首先需要確認(rèn)客戶要求的檢測精度，據(jù)此拆解出視覺系統(tǒng)的分辨率和測量算法精度等關(guān)鍵指標(biāo)。曾經(jīng)有客戶將二次元（投影影像測量儀）設(shè)備作為測量的基準(zhǔn)設(shè)備，一切測量設(shè)備如通過驗收，均需要和二次元設(shè)備的測量結(jié)果進行對比——在這種情況下，就算某個設(shè)備的測量結(jié)果已達到其測量原理的極限，但如果和基準(zhǔn)設(shè)備無法吻合，也無法順利交貨。

對位場景在組裝、抓取、貼裝、打孔等工藝較為常見。這同樣需要首先確認(rèn)客戶要求的對位精度。電子制造行業(yè)要求的定位精度已達到微米級。對位視覺組件的標(biāo)定、特征識別、坐標(biāo)計算等各環(huán)節(jié)均要求亞像素級別的精度，有的場景還需要多次對位才能保證精度。

問：一個好的工業(yè)視覺產(chǎn)品或解決方案該如何選擇、組合使用不同的感知技術(shù)？

綜合能力是關(guān)鍵。制造業(yè)客戶更傾向于將整條產(chǎn)線或整條產(chǎn)線中的視覺產(chǎn)品指定給一家方案供應(yīng)商/設(shè)備制造商去集成。這種背景下，如果想要拿到更優(yōu)質(zhì)的訂單，就必須在專攻一種視覺產(chǎn)品的基礎(chǔ)上，同時擁有其余視覺產(chǎn)品或方案的掌控/設(shè)計/開發(fā)能力。對于好的工業(yè)視覺產(chǎn)品或解決方案，一定要具備完整的各類視覺場景的解決能力，以2D/3D測量、特征檢測等傳統(tǒng)算法為基礎(chǔ)，并依靠基于深度學(xué)習(xí)的檢測、分類、分割在某些復(fù)雜的場景打出差異化。

問：和傳統(tǒng)計算機圖形學(xué)、傳統(tǒng)計算機視覺技術(shù)相比，以深度學(xué)習(xí)為代表的新一代AI技術(shù)有何特長？深度學(xué)習(xí)技術(shù)與傳統(tǒng)技術(shù)之間，在解決工業(yè)視覺問題上是一種什么樣的關(guān)系？

舉個例子，在某些外觀缺陷檢測的項目中，前期只使用傳統(tǒng)算法，在保證缺陷檢出率的前提下，過檢率較高，客戶的人工復(fù)判工作量較大，并沒有為客戶減少太多人力。在對過檢圖像進行分析后發(fā)現(xiàn)，過檢主要由臟污、灰塵等引起，而這些過檢源依靠傳統(tǒng)算法很難與真實缺陷進行區(qū)分。通過引入深度學(xué)習(xí)算法，驗證了基于深度學(xué)習(xí)分類的過檢抑制效果，通過幾輪模型優(yōu)化（現(xiàn)場過檢圖像返回→模型訓(xùn)練并更新模型→現(xiàn)場驗證并繼續(xù)反饋過檢圖像）后，過檢率大幅降低，客戶十分滿意。

另一個例子，手機整機的外觀檢測一直是電子制造領(lǐng)域難度很大的方向。2017年前鮮有廠商敢于嘗試。2017年后，隨著視覺器件硬件方案（頻閃、飛拍、6軸機器人）的多樣化，市場上逐漸有廠商開始嘗試。由于手機功能模塊多（攝像頭、聽筒、揚聲器、按鍵、充電孔）、形態(tài)多樣（玻璃、金屬、鏡面、磨砂面、倒角、弧面）、缺陷類型多樣（所有外觀缺陷的集大成場景），導(dǎo)致成像情況復(fù)雜，難以用傳統(tǒng)的基于特征檢測的算法完成所有缺陷覆蓋?；谏疃葘W(xué)習(xí)的算法在最近幾年的試用中獲得很不錯的反饋。相信在不久的將來，一定會有一款成熟產(chǎn)品能越過整機外觀檢測極高的技術(shù)門檻。

這說明，成熟可用性能可靠的機器視覺產(chǎn)品，一定需要傳統(tǒng)算法和深度學(xué)習(xí)算法的相輔相成。例如，面板行業(yè)的平均節(jié)拍時間可短至2.5s，在高線速要求下，單枚產(chǎn)品（按100Mb數(shù)據(jù)量）的算法檢測時間需控制在1.5s以內(nèi)，這時，傳統(tǒng)算法通常較深度學(xué)習(xí)算法有速度優(yōu)勢。另一方面，對傳統(tǒng)算法較難實現(xiàn)的分類以及復(fù)雜場景，深度學(xué)習(xí)算法更容易大顯身手。

問：在“規(guī)劃/決策”和“執(zhí)行”層面，好的工業(yè)視覺組件應(yīng)如何與工業(yè)制造的整體自動化系統(tǒng)交互？有哪些較難解決的產(chǎn)品和解決方案設(shè)計問題？

“規(guī)劃/決策”層面與“執(zhí)行”層面的交互，可直觀理解為視覺系統(tǒng)與整機自動化系統(tǒng)的交互和握手，或者上位機軟件與下位機板卡/PLC的交互和握手。從功能劃分維度講，視覺系統(tǒng)理論上只負責(zé)視覺相關(guān)的動作，PLC對機臺所有的運動軸、電磁閥、傳感器進行控制。

因此，在控制層面，相機/采集卡的初始化、光源的亮滅、光源亮度的調(diào)節(jié)、圖像的存儲和檢測完全由視覺系統(tǒng)控制，產(chǎn)品的搬運/交接、各個軸的運動、氣路的通斷、氣壓/溫度/安全光柵/掃碼/急停復(fù)位啟動按鈕的控制完全由PLC控制。

在交互層面，圖像采集和檢測結(jié)果反饋需要上下位機的通訊交互。當(dāng)PLC拿到掃碼設(shè)備回傳的產(chǎn)品ID后，會將該ID發(fā)送給上位機執(zhí)行圖像的命名和存儲；當(dāng)產(chǎn)品運動到預(yù)設(shè)的采圖位置時，PLC會通知上位機可以采圖并且等待上位機的采集完畢信號，之后再執(zhí)行后續(xù)流程；在上位機完成圖像檢測后，會將該枚產(chǎn)品的OK/NG結(jié)果反饋給PLC，便于實現(xiàn)產(chǎn)品的分級和下料。

當(dāng)設(shè)備中的視覺工位數(shù)量較多時，上下位機之間的交互包含各視覺工位上位機間的通訊以及各視覺工位與PLC的通訊交互，由于各視覺工位動作流程并行，且各工位的產(chǎn)品并不一致（同一時刻設(shè)備中可能存在多枚產(chǎn)品），因此交互方案會變得非常復(fù)雜。

問：創(chuàng)新奇智承接了很多工業(yè)視覺的典型項目。在這些項目中，你認(rèn)為技術(shù)上最大的挑戰(zhàn)是什么？

創(chuàng)新奇智在工業(yè)視覺項目中既提供核心軟件和算法，也同時集成自研或外購的機臺與設(shè)備。這個過程中，最大的挑戰(zhàn)是機器視覺為主的軟件算法團隊，與光機電為主的自動化團隊之間如何默契配合。例如，高精度的AOI自動光學(xué)檢測需要完備的光學(xué)方案，需要穩(wěn)定防震的機臺，需要高重復(fù)定位精度的運動機構(gòu)，需要上下游精確聯(lián)動匹配產(chǎn)線節(jié)拍。軟硬件必須協(xié)同一致，才能達到最優(yōu)效果。

另一個技術(shù)挑戰(zhàn)是快速應(yīng)對待檢測/測量產(chǎn)品的上新。工業(yè)行業(yè)產(chǎn)品種類多樣，產(chǎn)品迭代速度快。以電子制造行業(yè)為例，機種的切換需要調(diào)節(jié)產(chǎn)品載臺、調(diào)節(jié)搬運機構(gòu)真空吸嘴位置、調(diào)節(jié)相機工作距離/鏡頭對焦/光源位置、調(diào)節(jié)采圖位置、調(diào)節(jié)探針下壓位置、切換軟件模板、調(diào)節(jié)檢測參數(shù)、優(yōu)化算法模型、調(diào)節(jié)放料位置等幾十項操作。每次切換，機器視覺模型以及整體方案中的定制部分都必須快速適應(yīng)新場景。

問：創(chuàng)新奇智的ManuVision工業(yè)視覺平臺將“感知/理解”“規(guī)劃/決策”“執(zhí)行”等工序串聯(lián)到一個完整的技術(shù)平臺上，大幅降低了工業(yè)視覺解決方案的開發(fā)和實施難度。從產(chǎn)品角度說，ManuVision平臺可以為工業(yè)視覺場景貢獻哪些價值？

ManuVision平臺的設(shè)計理念在于讓工業(yè)視覺的產(chǎn)品開發(fā)更快，讓工業(yè)視覺的項目交付更輕。ManuVision平臺包含Designer、Runtime和Trainer三大關(guān)鍵功能模塊。

Runtime模塊為設(shè)備業(yè)務(wù)執(zhí)行模塊，通過該模塊的界面可實時觀察設(shè)備產(chǎn)能、各工位圖像、檢測結(jié)果、異常信息、操作日志等；當(dāng)設(shè)備切換對應(yīng)產(chǎn)品時，可通過Runtime模塊切換相應(yīng)的業(yè)務(wù)流程和深度學(xué)習(xí)模型。

Designer模塊為檢測方案及業(yè)務(wù)流程配置模塊。Designer模塊將工業(yè)視覺流程中的核心操作封裝為功能塊，通過對功能塊的直觀添加和連接，交付團隊和客戶的產(chǎn)線設(shè)備工程師可快速搭建完整的業(yè)務(wù)流程。

Trainer模塊預(yù)置預(yù)訓(xùn)練模型。產(chǎn)線設(shè)備工程師、QC和操作員無需任何算法基礎(chǔ)，只需利用標(biāo)注工具完成缺陷標(biāo)注，便可由Trainer模塊自動完成預(yù)置模型的優(yōu)化及測試，模型可在runtime界面一鍵部署。

總體上，ManuVision工業(yè)視覺平臺將我們對工業(yè)視覺技術(shù)與產(chǎn)品的整體思考整合在一個統(tǒng)一的軟件框架內(nèi)，是工業(yè)視覺類場景實現(xiàn)“制造”到“智造”升級的高效工具。

作者：創(chuàng)新奇智工業(yè)視覺產(chǎn)品團隊

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。