背景：人工智能公司創(chuàng)新奇智的工業(yè)視覺(jué)產(chǎn)品團(tuán)隊(duì)依托ManuVision工業(yè)視覺(jué)平臺(tái)，在工業(yè)制造的多個(gè)典型場(chǎng)景中，積累了寶貴的AI技術(shù)賦能與產(chǎn)品落地經(jīng)驗(yàn)。本文以問(wèn)答方式與創(chuàng)新奇智的工業(yè)視覺(jué)產(chǎn)品負(fù)責(zé)人探討了AI在工業(yè)視覺(jué)領(lǐng)域落地面臨的現(xiàn)實(shí)挑戰(zhàn)，以及創(chuàng)新奇智團(tuán)隊(duì)?wèi)?yīng)對(duì)這些挑戰(zhàn)的核心方法論與技術(shù)產(chǎn)品策略。

問(wèn)：以AI為代表的前沿科技在工業(yè)制造特別是工業(yè)視覺(jué)場(chǎng)景中能貢獻(xiàn)哪些核心價(jià)值？

答：工業(yè)視覺(jué)是工業(yè)自動(dòng)化的核心領(lǐng)域，包括檢測(cè)、識(shí)別、測(cè)量、定位等關(guān)鍵任務(wù)。擅長(zhǎng)解決視覺(jué)感知問(wèn)題的AI技術(shù)已成為創(chuàng)造價(jià)值的重要切入點(diǎn)。今天，全球制造業(yè)面臨巨大的產(chǎn)業(yè)升級(jí)壓力。除了頭部少數(shù)大型生產(chǎn)企業(yè)，大部分制造業(yè)生產(chǎn)線(xiàn)面臨需求快速迭代和信息化、自動(dòng)化、柔性化不足的矛盾：一方面，快速變化的全球市場(chǎng)呼喚按需生產(chǎn)、按需定制、按需迭代的高效產(chǎn)線(xiàn)；另一方面，數(shù)據(jù)采集難、連通難，自動(dòng)化程度低，自動(dòng)化工位之間缺少協(xié)同，良品率難于定量評(píng)估和精確歸因等現(xiàn)實(shí)問(wèn)題，共同構(gòu)成了制造業(yè)效率提升的整體挑戰(zhàn)。

大部分制造業(yè)企業(yè)需要在較短的建設(shè)周期里，大跨步補(bǔ)齊信息化、自動(dòng)化、智能化這三塊短板，實(shí)現(xiàn)跨越式發(fā)展。物聯(lián)網(wǎng)、大數(shù)據(jù)、機(jī)器視覺(jué)、自動(dòng)規(guī)劃與決策、自動(dòng)控制等前沿科技是此過(guò)程中的關(guān)鍵技術(shù)。其中，AI相關(guān)的技術(shù)更是由“制造”到“智造”躍升的基礎(chǔ)。

問(wèn)：具體到工業(yè)視覺(jué)場(chǎng)景，為什么工業(yè)視覺(jué)需要人工智能？

工業(yè)視覺(jué)要解決的是如何“看”清制造場(chǎng)景與如何“感知”“理解”關(guān)鍵信息的問(wèn)題。當(dāng)前，光學(xué)成像技術(shù)，多傳感器融合技術(shù)，感光和光學(xué)處理芯片技術(shù)大幅進(jìn)步，使“看得更小、看得更清”成為現(xiàn)實(shí)。在此基礎(chǔ)上，AI恰好可以幫助我們“感知更準(zhǔn)確、理解更深刻”。

以電子制造行業(yè)為例，我國(guó)相關(guān)生產(chǎn)線(xiàn)上與視覺(jué)檢測(cè)有關(guān)的工位每年人工成本約60億元。前沿科技的切入，會(huì)將視覺(jué)檢測(cè)這一工序從較粗放、難量化的勞動(dòng)密集型工位升級(jí)為可精準(zhǔn)定量、可完整溯源、可智能集成數(shù)據(jù)的全自動(dòng)工位，帶來(lái)生產(chǎn)效率和產(chǎn)品質(zhì)量的大幅提升。

問(wèn)：在工業(yè)視覺(jué)領(lǐng)域規(guī)劃、定義、設(shè)計(jì)一款產(chǎn)品或解決方案，是一種怎樣的體驗(yàn)？

挑戰(zhàn)很大。要說(shuō)體驗(yàn)么，“苦其心志、勞其筋骨”吧。在工業(yè)視覺(jué)領(lǐng)域，一個(gè)產(chǎn)品的正向開(kāi)發(fā)會(huì)經(jīng)歷需求調(diào)研、總體方案設(shè)計(jì)、關(guān)鍵技術(shù)驗(yàn)證、子系統(tǒng)方案設(shè)計(jì)、樣機(jī)試制、現(xiàn)場(chǎng)方案驗(yàn)證、產(chǎn)品發(fā)布和市場(chǎng)推廣等環(huán)節(jié)，每個(gè)階段都要產(chǎn)品經(jīng)理帶領(lǐng)團(tuán)隊(duì)在正確的方向上，投入全部精力去打磨和優(yōu)化。

上述過(guò)程中，產(chǎn)品經(jīng)理的思路需要在宏觀和微觀之中隨時(shí)切換：在考慮客戶(hù)需求、產(chǎn)品定位時(shí)需要宏觀思考；在考慮技術(shù)實(shí)現(xiàn)時(shí)需要聚焦在各個(gè)關(guān)鍵層級(jí)的技術(shù)細(xì)節(jié)；在布局產(chǎn)品線(xiàn)時(shí)需要考慮差異化配置對(duì)各類(lèi)客戶(hù)的匹配；在現(xiàn)場(chǎng)方案驗(yàn)證時(shí)需要關(guān)注具體數(shù)據(jù)和定制化需求。

但在這個(gè)領(lǐng)域做產(chǎn)品經(jīng)理也是成就感滿(mǎn)滿(mǎn)的：工業(yè)視覺(jué)類(lèi)產(chǎn)品，特別是自動(dòng)化視覺(jué)設(shè)備是最能夠帶給人成就感的產(chǎn)品。當(dāng)產(chǎn)品成功交付并在客戶(hù)產(chǎn)線(xiàn)穩(wěn)定運(yùn)轉(zhuǎn)時(shí)，客戶(hù)的肯定就是對(duì)產(chǎn)品開(kāi)發(fā)團(tuán)隊(duì)的最好回報(bào)。

問(wèn)：這個(gè)領(lǐng)域，有哪些不同于其他領(lǐng)域的產(chǎn)品規(guī)律？

首先，需求條目多：在工業(yè)制造領(lǐng)域，客戶(hù)最關(guān)注的兩個(gè)指標(biāo)是產(chǎn)能和質(zhì)量。圍繞這兩個(gè)看似矛盾的指標(biāo)，工業(yè)視覺(jué)的產(chǎn)品設(shè)計(jì)可拆解為多項(xiàng)設(shè)計(jì)指標(biāo)：

• 產(chǎn)能相關(guān)的主要指標(biāo)包括上下游交接方式，產(chǎn)品/設(shè)備/儀器TT（tack time）時(shí)間，產(chǎn)品穩(wěn)定性（MTBF、MTBR），機(jī)種切換時(shí)間等。

• 質(zhì)量相關(guān)的主要指標(biāo)包括檢測(cè)/測(cè)量準(zhǔn)確率，過(guò)漏檢，重復(fù)性等。

• 由于工業(yè)現(xiàn)場(chǎng)的特殊環(huán)境（恒溫、恒濕、超凈、安全）需要考慮的主要指標(biāo)包括產(chǎn)品的ESD，重量，急停，F(xiàn)FU等。

行業(yè)內(nèi)客戶(hù)在方案溝通階段，均會(huì)給出詳細(xì)的規(guī)格要求，有時(shí)甚至覆蓋幾百到上千條規(guī)格定義。

其次，需求來(lái)源多：工業(yè)制造領(lǐng)域的產(chǎn)品，有鮮明的企業(yè)級(jí)（ToB）產(chǎn)品的特征，其決策方、購(gòu)買(mǎi)方和使用方通常不是同一團(tuán)隊(duì)。例如，決策方可能是工程技術(shù)部或設(shè)備制造部，購(gòu)買(mǎi)方是采購(gòu)部門(mén)，使用方是生產(chǎn)部門(mén)。不同階段面向的客戶(hù)部門(mén)不同，不同部門(mén)對(duì)產(chǎn)品的訴求也不同。

再次，定制化程度高：由于不同客戶(hù)的產(chǎn)線(xiàn)布局不同，產(chǎn)線(xiàn)線(xiàn)速不同，上下游制程設(shè)備不同，甚至電梯高度不同（決定設(shè)備最高的高度），因此交付給每個(gè)客戶(hù)的產(chǎn)品有較大的定制化。但相同的工業(yè)視覺(jué)產(chǎn)品系列，其核心功能應(yīng)保持穩(wěn)定。

問(wèn)：工業(yè)視覺(jué)技術(shù)可抽象為如何“看”、如何“感知/理解”、如何“規(guī)劃/決策”、如何“執(zhí)行”等幾個(gè)方面。以“看”為例，相關(guān)的成像技術(shù)、照明技術(shù)等今天達(dá)到了何種水平？

從成像芯片維度（更精、更優(yōu)、更廣、更快）看：

• 芯片工藝制程水平的提高使得大靶面的CMOS芯片成為主流工業(yè)相機(jī)芯片，2M→12M→29M→60M→71M→150M的演進(jìn)使工業(yè)檢測(cè)能夠觸達(dá)微米級(jí)精度，高滿(mǎn)井容量、高動(dòng)態(tài)范圍、低噪聲的特性大幅提高了工業(yè)相機(jī)的成像質(zhì)量；

• 高精度的鍍膜工藝實(shí)現(xiàn)了像素級(jí)的鍍膜，基于上述技術(shù)的偏振相機(jī)、高光譜相機(jī)能夠在工業(yè)檢測(cè)場(chǎng)景獲取待檢測(cè)產(chǎn)品更多維度的信息；

• TDI技術(shù)能大幅降低曝光時(shí)間，提高相機(jī)的掃描頻率，配合高速圖像采集卡，將視覺(jué)檢測(cè)搭載在高線(xiàn)速的自動(dòng)化產(chǎn)線(xiàn)。

從照明光源維度看：十年前機(jī)器視覺(jué)行業(yè)的光源產(chǎn)品基本被日本企業(yè)壟斷。今天，國(guó)內(nèi)機(jī)器視覺(jué)光源廠家迅速崛起，光源產(chǎn)品的種類(lèi)和質(zhì)量不斷提升。目前常見(jiàn)的LED光源（條形光、環(huán)形光、同軸光、穹頂光、背光源）及光源控制器已廣泛應(yīng)用在各種視覺(jué)系統(tǒng)，國(guó)內(nèi)供應(yīng)商也積極配合各類(lèi)需求和場(chǎng)景的打光驗(yàn)證和光源方案。同時(shí)，國(guó)內(nèi)各光源供應(yīng)商積極推進(jìn)自主光源甚至視覺(jué)系統(tǒng)的研發(fā)，例如多角度線(xiàn)光源、線(xiàn)掃分時(shí)曝光系統(tǒng)、視覺(jué)一體化控制器等。此外，投影結(jié)構(gòu)光、激光線(xiàn)光源也在多項(xiàng)3D輪廓或缺陷檢測(cè)場(chǎng)景得到應(yīng)用。

成像方案維度：目前的工業(yè)視覺(jué)產(chǎn)品和設(shè)備成像方案多樣，面陣方案（靜止或飛拍檢測(cè)）、線(xiàn)陣方案、線(xiàn)激光掃描、編碼結(jié)構(gòu)光、白光共聚焦等多種方案已經(jīng)得到成熟應(yīng)用，而復(fù)雜的多工位檢測(cè)設(shè)備常常集成上述多種方案，實(shí)現(xiàn)更高成像率的覆蓋和3D輪廓測(cè)量。相信在不久的將來(lái)，計(jì)算成像、高光譜成像、光場(chǎng)相機(jī)等新技術(shù)會(huì)進(jìn)一步集成在工業(yè)視覺(jué)方案中。

問(wèn)：“光”和“光學(xué)”是如何影響著具體項(xiàng)目的技術(shù)實(shí)現(xiàn)的？想在產(chǎn)品中用好光學(xué)技術(shù)，在設(shè)計(jì)上要著重思考哪些問(wèn)題？

作為光學(xué)工程師，“Garbage in, garbage out（垃圾圖像進(jìn)，垃圾結(jié)果出）”是基本理念，光學(xué)系統(tǒng)對(duì)工業(yè)視覺(jué)項(xiàng)目的影響也可見(jiàn)一斑。

總體方案層面：復(fù)雜的工業(yè)視覺(jué)設(shè)備基本都會(huì)集成多種成像方案，因此也會(huì)有多工位的設(shè)計(jì)，只有光學(xué)方案確定，才能夠確定設(shè)備的工位分布、設(shè)備布局。

光學(xué)系統(tǒng)對(duì)產(chǎn)品的結(jié)構(gòu)和自動(dòng)化設(shè)計(jì)有約束：受需求驅(qū)動(dòng)，工業(yè)視覺(jué)產(chǎn)品的分辨率高，同時(shí)還要考慮設(shè)備的可調(diào)試、可維護(hù)等DFX需求，視覺(jué)系統(tǒng)通常需要預(yù)留調(diào)節(jié)機(jī)制。合格的光學(xué)工程師會(huì)在設(shè)計(jì)光學(xué)方案的同時(shí)輸出視覺(jué)方案對(duì)機(jī)臺(tái)抖動(dòng)、定位重復(fù)性、視覺(jué)機(jī)構(gòu)調(diào)節(jié)自由度、各自由度調(diào)節(jié)范圍、載臺(tái)平面度等指標(biāo)約束，只有這些指標(biāo)明確，才能夠讓下游設(shè)計(jì)不返工、調(diào)試變輕松。

光學(xué)系統(tǒng)對(duì)算法性能有指標(biāo)約束：在工業(yè)檢測(cè)場(chǎng)景中，工業(yè)視覺(jué)檢測(cè)裝備的核心指標(biāo)為缺陷檢出率和檢測(cè)準(zhǔn)確率等。例如，客戶(hù)要求90%的缺陷檢出率，一般可拆解為x%的缺陷成像率乘以y%的在成像中的缺陷檢出率。兩項(xiàng)指標(biāo)的乘積約為90%，則單項(xiàng)指標(biāo)還需要高不少。光學(xué)工程師在進(jìn)行成像驗(yàn)證時(shí)需要和算法工程師緊密溝通，確認(rèn)缺陷成像是否滿(mǎn)足算法檢出的需求，以保證缺陷檢出率為最終目標(biāo)。

總體上，我們認(rèn)為，工業(yè)視覺(jué)的產(chǎn)品研發(fā)和設(shè)計(jì)一定要光學(xué)先行。視覺(jué)工程師除了設(shè)計(jì)光學(xué)方案之外，還需要投大量精力在先進(jìn)的成像方式預(yù)研、先進(jìn)產(chǎn)品預(yù)研等課題上。例如，在LCD時(shí)代預(yù)研OLED產(chǎn)品和制程，在OLED時(shí)代預(yù)研QLED和Micro LED，這樣在上游產(chǎn)品和制程不斷更迭的過(guò)程中，知識(shí)積累才不會(huì)落伍。簡(jiǎn)單說(shuō)，視覺(jué)工程師應(yīng)和自動(dòng)化工程師一樣——甚至需要更加——了解制程和工藝。

問(wèn)：在“感知”層面，工業(yè)視覺(jué)軟硬件組件到底需要對(duì)工位場(chǎng)景感知到什么程度才能滿(mǎn)足業(yè)務(wù)需求？

感知有多重含義：在檢測(cè)場(chǎng)景，視覺(jué)產(chǎn)品實(shí)現(xiàn)缺陷的準(zhǔn)確檢測(cè)，又快又好地替代人工；在對(duì)位場(chǎng)景，視覺(jué)產(chǎn)品識(shí)別待抓取/組裝/壓接等操作的物體并精確反饋物體位置；在測(cè)量場(chǎng)景，視覺(jué)產(chǎn)品對(duì)制程重點(diǎn)關(guān)注的幾何量進(jìn)行測(cè)量，反饋準(zhǔn)確的測(cè)量結(jié)果。上述場(chǎng)景都需要視覺(jué)算法的合理選取、設(shè)計(jì)和配置。

對(duì)檢測(cè)場(chǎng)景，感知的基礎(chǔ)需要建立在客戶(hù)的人工檢測(cè)基準(zhǔn)上。對(duì)于膜材、卷料、玻璃等各類(lèi)待檢測(cè)產(chǎn)品和工藝，只要存在人工檢測(cè)工位，就會(huì)有具體、詳細(xì)的人工檢測(cè)基準(zhǔn)。通過(guò)各類(lèi)算法/模型將圖像上的“疑似異?！睓z出是第一步（特征檢測(cè)、對(duì)象檢測(cè)）。之后，如何讀懂客戶(hù)的人工判定邏輯并設(shè)計(jì)相應(yīng)的算法邏輯更為重要。例如，常見(jiàn)的人工判定基準(zhǔn)會(huì)規(guī)定缺陷的長(zhǎng)、寬、面積、點(diǎn)群距離、深度等，我們的算法邏輯也需要以此為依據(jù)進(jìn)行設(shè)計(jì)。

對(duì)于測(cè)量場(chǎng)景，常見(jiàn)方式包括2D和3D測(cè)量。此類(lèi)場(chǎng)景首先需要確認(rèn)客戶(hù)要求的檢測(cè)精度，據(jù)此拆解出視覺(jué)系統(tǒng)的分辨率和測(cè)量算法精度等關(guān)鍵指標(biāo)。曾經(jīng)有客戶(hù)將二次元（投影影像測(cè)量?jī)x）設(shè)備作為測(cè)量的基準(zhǔn)設(shè)備，一切測(cè)量設(shè)備如通過(guò)驗(yàn)收，均需要和二次元設(shè)備的測(cè)量結(jié)果進(jìn)行對(duì)比——在這種情況下，就算某個(gè)設(shè)備的測(cè)量結(jié)果已達(dá)到其測(cè)量原理的極限，但如果和基準(zhǔn)設(shè)備無(wú)法吻合，也無(wú)法順利交貨。

對(duì)位場(chǎng)景在組裝、抓取、貼裝、打孔等工藝較為常見(jiàn)。這同樣需要首先確認(rèn)客戶(hù)要求的對(duì)位精度。電子制造行業(yè)要求的定位精度已達(dá)到微米級(jí)。對(duì)位視覺(jué)組件的標(biāo)定、特征識(shí)別、坐標(biāo)計(jì)算等各環(huán)節(jié)均要求亞像素級(jí)別的精度，有的場(chǎng)景還需要多次對(duì)位才能保證精度。

問(wèn)：一個(gè)好的工業(yè)視覺(jué)產(chǎn)品或解決方案該如何選擇、組合使用不同的感知技術(shù)？

綜合能力是關(guān)鍵。制造業(yè)客戶(hù)更傾向于將整條產(chǎn)線(xiàn)或整條產(chǎn)線(xiàn)中的視覺(jué)產(chǎn)品指定給一家方案供應(yīng)商/設(shè)備制造商去集成。這種背景下，如果想要拿到更優(yōu)質(zhì)的訂單，就必須在專(zhuān)攻一種視覺(jué)產(chǎn)品的基礎(chǔ)上，同時(shí)擁有其余視覺(jué)產(chǎn)品或方案的掌控/設(shè)計(jì)/開(kāi)發(fā)能力。對(duì)于好的工業(yè)視覺(jué)產(chǎn)品或解決方案，一定要具備完整的各類(lèi)視覺(jué)場(chǎng)景的解決能力，以2D/3D測(cè)量、特征檢測(cè)等傳統(tǒng)算法為基礎(chǔ)，并依靠基于深度學(xué)習(xí)的檢測(cè)、分類(lèi)、分割在某些復(fù)雜的場(chǎng)景打出差異化。

問(wèn)：和傳統(tǒng)計(jì)算機(jī)圖形學(xué)、傳統(tǒng)計(jì)算機(jī)視覺(jué)技術(shù)相比，以深度學(xué)習(xí)為代表的新一代AI技術(shù)有何特長(zhǎng)？深度學(xué)習(xí)技術(shù)與傳統(tǒng)技術(shù)之間，在解決工業(yè)視覺(jué)問(wèn)題上是一種什么樣的關(guān)系？

舉個(gè)例子，在某些外觀缺陷檢測(cè)的項(xiàng)目中，前期只使用傳統(tǒng)算法，在保證缺陷檢出率的前提下，過(guò)檢率較高，客戶(hù)的人工復(fù)判工作量較大，并沒(méi)有為客戶(hù)減少太多人力。在對(duì)過(guò)檢圖像進(jìn)行分析后發(fā)現(xiàn)，過(guò)檢主要由臟污、灰塵等引起，而這些過(guò)檢源依靠傳統(tǒng)算法很難與真實(shí)缺陷進(jìn)行區(qū)分。通過(guò)引入深度學(xué)習(xí)算法，驗(yàn)證了基于深度學(xué)習(xí)分類(lèi)的過(guò)檢抑制效果，通過(guò)幾輪模型優(yōu)化（現(xiàn)場(chǎng)過(guò)檢圖像返回→模型訓(xùn)練并更新模型→現(xiàn)場(chǎng)驗(yàn)證并繼續(xù)反饋過(guò)檢圖像）后，過(guò)檢率大幅降低，客戶(hù)十分滿(mǎn)意。

另一個(gè)例子，手機(jī)整機(jī)的外觀檢測(cè)一直是電子制造領(lǐng)域難度很大的方向。2017年前鮮有廠商敢于嘗試。2017年后，隨著視覺(jué)器件硬件方案（頻閃、飛拍、6軸機(jī)器人）的多樣化，市場(chǎng)上逐漸有廠商開(kāi)始嘗試。由于手機(jī)功能模塊多（攝像頭、聽(tīng)筒、揚(yáng)聲器、按鍵、充電孔）、形態(tài)多樣（玻璃、金屬、鏡面、磨砂面、倒角、弧面）、缺陷類(lèi)型多樣（所有外觀缺陷的集大成場(chǎng)景），導(dǎo)致成像情況復(fù)雜，難以用傳統(tǒng)的基于特征檢測(cè)的算法完成所有缺陷覆蓋。基于深度學(xué)習(xí)的算法在最近幾年的試用中獲得很不錯(cuò)的反饋。相信在不久的將來(lái)，一定會(huì)有一款成熟產(chǎn)品能越過(guò)整機(jī)外觀檢測(cè)極高的技術(shù)門(mén)檻。

這說(shuō)明，成熟可用性能可靠的機(jī)器視覺(jué)產(chǎn)品，一定需要傳統(tǒng)算法和深度學(xué)習(xí)算法的相輔相成。例如，面板行業(yè)的平均節(jié)拍時(shí)間可短至2.5s，在高線(xiàn)速要求下，單枚產(chǎn)品（按100Mb數(shù)據(jù)量）的算法檢測(cè)時(shí)間需控制在1.5s以?xún)?nèi)，這時(shí)，傳統(tǒng)算法通常較深度學(xué)習(xí)算法有速度優(yōu)勢(shì)。另一方面，對(duì)傳統(tǒng)算法較難實(shí)現(xiàn)的分類(lèi)以及復(fù)雜場(chǎng)景，深度學(xué)習(xí)算法更容易大顯身手。

問(wèn)：在“規(guī)劃/決策”和“執(zhí)行”層面，好的工業(yè)視覺(jué)組件應(yīng)如何與工業(yè)制造的整體自動(dòng)化系統(tǒng)交互？有哪些較難解決的產(chǎn)品和解決方案設(shè)計(jì)問(wèn)題？

“規(guī)劃/決策”層面與“執(zhí)行”層面的交互，可直觀理解為視覺(jué)系統(tǒng)與整機(jī)自動(dòng)化系統(tǒng)的交互和握手，或者上位機(jī)軟件與下位機(jī)板卡/PLC的交互和握手。從功能劃分維度講，視覺(jué)系統(tǒng)理論上只負(fù)責(zé)視覺(jué)相關(guān)的動(dòng)作，PLC對(duì)機(jī)臺(tái)所有的運(yùn)動(dòng)軸、電磁閥、傳感器進(jìn)行控制。

因此，在控制層面，相機(jī)/采集卡的初始化、光源的亮滅、光源亮度的調(diào)節(jié)、圖像的存儲(chǔ)和檢測(cè)完全由視覺(jué)系統(tǒng)控制，產(chǎn)品的搬運(yùn)/交接、各個(gè)軸的運(yùn)動(dòng)、氣路的通斷、氣壓/溫度/安全光柵/掃碼/急停復(fù)位啟動(dòng)按鈕的控制完全由PLC控制。

在交互層面，圖像采集和檢測(cè)結(jié)果反饋需要上下位機(jī)的通訊交互。當(dāng)PLC拿到掃碼設(shè)備回傳的產(chǎn)品ID后，會(huì)將該ID發(fā)送給上位機(jī)執(zhí)行圖像的命名和存儲(chǔ)；當(dāng)產(chǎn)品運(yùn)動(dòng)到預(yù)設(shè)的采圖位置時(shí)，PLC會(huì)通知上位機(jī)可以采圖并且等待上位機(jī)的采集完畢信號(hào)，之后再執(zhí)行后續(xù)流程；在上位機(jī)完成圖像檢測(cè)后，會(huì)將該枚產(chǎn)品的OK/NG結(jié)果反饋給PLC，便于實(shí)現(xiàn)產(chǎn)品的分級(jí)和下料。

當(dāng)設(shè)備中的視覺(jué)工位數(shù)量較多時(shí)，上下位機(jī)之間的交互包含各視覺(jué)工位上位機(jī)間的通訊以及各視覺(jué)工位與PLC的通訊交互，由于各視覺(jué)工位動(dòng)作流程并行，且各工位的產(chǎn)品并不一致（同一時(shí)刻設(shè)備中可能存在多枚產(chǎn)品），因此交互方案會(huì)變得非常復(fù)雜。

問(wèn)：創(chuàng)新奇智承接了很多工業(yè)視覺(jué)的典型項(xiàng)目。在這些項(xiàng)目中，你認(rèn)為技術(shù)上最大的挑戰(zhàn)是什么？

創(chuàng)新奇智在工業(yè)視覺(jué)項(xiàng)目中既提供核心軟件和算法，也同時(shí)集成自研或外購(gòu)的機(jī)臺(tái)與設(shè)備。這個(gè)過(guò)程中，最大的挑戰(zhàn)是機(jī)器視覺(jué)為主的軟件算法團(tuán)隊(duì)，與光機(jī)電為主的自動(dòng)化團(tuán)隊(duì)之間如何默契配合。例如，高精度的AOI自動(dòng)光學(xué)檢測(cè)需要完備的光學(xué)方案，需要穩(wěn)定防震的機(jī)臺(tái)，需要高重復(fù)定位精度的運(yùn)動(dòng)機(jī)構(gòu)，需要上下游精確聯(lián)動(dòng)匹配產(chǎn)線(xiàn)節(jié)拍。軟硬件必須協(xié)同一致，才能達(dá)到最優(yōu)效果。

另一個(gè)技術(shù)挑戰(zhàn)是快速應(yīng)對(duì)待檢測(cè)/測(cè)量產(chǎn)品的上新。工業(yè)行業(yè)產(chǎn)品種類(lèi)多樣，產(chǎn)品迭代速度快。以電子制造行業(yè)為例，機(jī)種的切換需要調(diào)節(jié)產(chǎn)品載臺(tái)、調(diào)節(jié)搬運(yùn)機(jī)構(gòu)真空吸嘴位置、調(diào)節(jié)相機(jī)工作距離/鏡頭對(duì)焦/光源位置、調(diào)節(jié)采圖位置、調(diào)節(jié)探針下壓位置、切換軟件模板、調(diào)節(jié)檢測(cè)參數(shù)、優(yōu)化算法模型、調(diào)節(jié)放料位置等幾十項(xiàng)操作。每次切換，機(jī)器視覺(jué)模型以及整體方案中的定制部分都必須快速適應(yīng)新場(chǎng)景。

問(wèn)：創(chuàng)新奇智的ManuVision工業(yè)視覺(jué)平臺(tái)將“感知/理解”“規(guī)劃/決策”“執(zhí)行”等工序串聯(lián)到一個(gè)完整的技術(shù)平臺(tái)上，大幅降低了工業(yè)視覺(jué)解決方案的開(kāi)發(fā)和實(shí)施難度。從產(chǎn)品角度說(shuō)，ManuVision平臺(tái)可以為工業(yè)視覺(jué)場(chǎng)景貢獻(xiàn)哪些價(jià)值？

ManuVision平臺(tái)的設(shè)計(jì)理念在于讓工業(yè)視覺(jué)的產(chǎn)品開(kāi)發(fā)更快，讓工業(yè)視覺(jué)的項(xiàng)目交付更輕。ManuVision平臺(tái)包含Designer、Runtime和Trainer三大關(guān)鍵功能模塊。

Runtime模塊為設(shè)備業(yè)務(wù)執(zhí)行模塊，通過(guò)該模塊的界面可實(shí)時(shí)觀察設(shè)備產(chǎn)能、各工位圖像、檢測(cè)結(jié)果、異常信息、操作日志等；當(dāng)設(shè)備切換對(duì)應(yīng)產(chǎn)品時(shí)，可通過(guò)Runtime模塊切換相應(yīng)的業(yè)務(wù)流程和深度學(xué)習(xí)模型。

Designer模塊為檢測(cè)方案及業(yè)務(wù)流程配置模塊。Designer模塊將工業(yè)視覺(jué)流程中的核心操作封裝為功能塊，通過(guò)對(duì)功能塊的直觀添加和連接，交付團(tuán)隊(duì)和客戶(hù)的產(chǎn)線(xiàn)設(shè)備工程師可快速搭建完整的業(yè)務(wù)流程。

Trainer模塊預(yù)置預(yù)訓(xùn)練模型。產(chǎn)線(xiàn)設(shè)備工程師、QC和操作員無(wú)需任何算法基礎(chǔ)，只需利用標(biāo)注工具完成缺陷標(biāo)注，便可由Trainer模塊自動(dòng)完成預(yù)置模型的優(yōu)化及測(cè)試，模型可在runtime界面一鍵部署。

總體上，ManuVision工業(yè)視覺(jué)平臺(tái)將我們對(duì)工業(yè)視覺(jué)技術(shù)與產(chǎn)品的整體思考整合在一個(gè)統(tǒng)一的軟件框架內(nèi)，是工業(yè)視覺(jué)類(lèi)場(chǎng)景實(shí)現(xiàn)“制造”到“智造”升級(jí)的高效工具。

作者：創(chuàng)新奇智工業(yè)視覺(jué)產(chǎn)品團(tuán)隊(duì)

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。