AI模型落地難？試試這個15分鐘搞定的開源工具！

本文作者：木子

2021-09-28 11:37

導(dǎo)語：自古兵家作戰(zhàn)就講究一個「度」。

自古兵家作戰(zhàn)就講究一個「度」。

公元 200年，官渡之戰(zhàn)后。死敵袁紹的殘兵敗卒遠逃塞北，勞師遠征還是窮寇莫追，曹操陷入糾結(jié)。鬼才謀士郭嘉建言道：“用兵貴在神速！遠征千里之外，輜重多、行軍慢，敵人定會有所察覺。不如留下笨重的物資，輕車簡從晝夜兼程，攻敵不備定可一戰(zhàn)功成?！?nbsp;

曹操采納了建議，親率數(shù)千精兵突襲，旋即取得了勝利。

兵貴神速，絕非妄言。

曹操輕車簡從晝夜兼程是極致效率的體現(xiàn)，同樣的，在現(xiàn)代的科技領(lǐng)域，需要緊急交付應(yīng)用的時刻，將開發(fā)完成的模型快速部署、快速應(yīng)用，其背后體現(xiàn)的工程效率有時也事關(guān)成敗。

近日，曠視天元 MegEngine 將面向計算機視覺應(yīng)用的 MegFlow 流式計算框架開源，奉上一套可快速完成 AI 應(yīng)用部署的視覺解析服務(wù)方案。

AI模型落地難？試試這個15分鐘搞定的開源工具！

通過使用 MegFlow，AI 算法開發(fā)者可以快速完成 AI 模型的落地應(yīng)用。

我們就拿一個電瓶車檢測的例子，小中見大吧。

今年 5月10日，成都成華區(qū)一小區(qū)電梯內(nèi)電瓶車起火，導(dǎo)致包括一名女嬰在內(nèi)的多人燒傷。這樣的悲劇事件絕不是孤例，管理人員本可以及時察覺并制止電動車進入樓梯間等樓內(nèi)公共區(qū)域停放或充電。

MegFlow提供的“開箱即用”應(yīng)用就包括電瓶車檢測：基于 MegFlow 提供的圖像和視頻解析服務(wù)，最快 15 分鐘即可完成客制化電瓶車檢測功能，并完成快速部署。這是一種為物業(yè)管理者提供的智能化管理工具。當(dāng)攝像頭檢測到電瓶車進入樓內(nèi)公共區(qū)域，系統(tǒng)會第一時間發(fā)出警告，提醒管理人員快速制止，有效排除起火安全隱患。所謂“生命安全大于天，能快一點是一點”。

AI模型落地難？試試這個15分鐘搞定的開源工具！

MegFlow ——三步部署神器

“煉丹本是枯燥事，奈何部署再難人?！?經(jīng)歷過AI應(yīng)用上線的開發(fā)者肯定深有體會，要讓一個模型從丹爐走出來到落地應(yīng)用所涉及的東西又多又雜，技術(shù)儲備不足或人手不夠的團隊很難在短時間內(nèi)搞定所有事情。曠視最近開源的 MegFlow是針對這一痛點開出的一劑良藥。

曠視的工程師在總結(jié)了內(nèi)部多年的 AI 應(yīng)用工程落地經(jīng)驗之后，搭建了一條從“煉丹”到落地的高速公路，這就是 MegFlow 流式計算框架。

MegFlow 將資源、消息、任務(wù)等概念進行清晰一致的抽象化，做到將冗長的算法交付流程簡化為模型訓(xùn)練、業(yè)務(wù)集成、交付驗收三步完成。

AI模型落地難？試試這個15分鐘搞定的開源工具！

MegFlow三大特點助力提升工程效率

MegFlow 針對 AI 算法工程落地中的頻發(fā)問題，諸如性能調(diào)優(yōu)、安全性、模型加密等，都能提供行之有效的解決方案，并有效提升了工程效率。

MegFlow 擁有安全可靠、簡單易用、語義支持豐富等特性。在這三大特性的保證之下，MegFlow 可以輕松助力 AI 應(yīng)用快速落地。

簡單易用

MegFlow 支持 Python 插件，且僅需要開發(fā)者編寫同步的 Python 程序，即可實現(xiàn)可以被 MegFlow 異步調(diào)度的 Python 插件。同時 MegFlow 提供了一套基于 Web UI 的可視化調(diào)試工具，可有效提升模型部署的工作效率。

語義支持豐富

在表達能力上，MegFlow 支持靜態(tài)圖、動態(tài)圖和共享圖，輔以 demux、reorder、transform 等函數(shù)式語義的通用插件，為搭建多樣化的 AI 服務(wù)提供了豐富的語義支持。

安全可靠

一般而言，工程效率的提高往往意味著安全性能可能會隨之相應(yīng)下降，但是MegFlow對于安全性的把控做得非常好，完全安全可靠。在技術(shù)選型上， MegFlow 的研發(fā)團隊認真負責(zé)地調(diào)研了多種技術(shù)方案，最終選擇了安全且零額外開銷的 Rust 異步生態(tài)，從基礎(chǔ)上保證了 MegFlow 的安全性與性能。

曠視開源進行時

2020年3月，曠視開源了內(nèi)部使用多年的深度學(xué)習(xí)框架曠視天元，并以天元為核心，逐步豐富完善其開源生態(tài)，覆蓋圖像分類、圖像檢測、圖像分割、關(guān)鍵點、自然語言處理、生成對抗網(wǎng)絡(luò)等各類模型和工程項目。不久前，曠視開源了YOLOX 系列高性能目標(biāo)檢測算法，一度登上GitHub trending榜。

除了工作效率之外，曠視在解決成本效率上也很給力。今年4月，開源深度學(xué)習(xí)框架 MegEngine引入動態(tài)圖顯存優(yōu)化（DTR）技術(shù)并進行進一步的工程優(yōu)化，提供了一種通過額外計算減少顯存占用的途徑，只需兩行代碼，可以在相同顯存情況下，讓用戶訓(xùn)練 3 倍大的模型。在使用 DTR 功能后，11G顯存的2080Ti 可以訓(xùn)練出原本32G顯存的V100才能訓(xùn)練的模型，可以節(jié)省很多 Money！