今年 6 月，由北京大學前沿計算研究中心董豪博士主導開源的 TensorLayer 在 GitHub 上的 Star 數(shù)突破五千，這也標志著這一工具進入一個全新里程碑。TensorLayer 是一款基于 TensorFlow 開發(fā)的深度學習與強化學習庫，它提供高級別的深度學習 API，非常易于修改和擴展，可以同時用于機器學習的研究與產(chǎn)品開發(fā)。

2016 年，董豪在帝國理工讀博期間，在 Github 上開源 TensorLayer1.0，這一工具于 2017 年獲得 ACM MM 最佳開源軟件獎。今年 5 月，隨著 TensorFlow 升級至 2.0，在北京大學前沿計算研究中心的大力支持下，北京大學和帝國理工的貢獻者們（吳睿海、吳潤迪、董豪、張敬卿）也將 TensorLayer 升級至全新 2.0 版本，全面支持動態(tài)訓練模式、動/靜態(tài)神經(jīng)網(wǎng)絡模型切換以及 TensorFlow2.0，并同時大大簡化了自定義神經(jīng)網(wǎng)絡的實現(xiàn)。目前，TensorLayer 的下載量接近 20 萬次，并逐漸成為深度學習主流框架之一。

談及發(fā)起 TensorLayer 項目的契機，董豪對雷鋒網(wǎng)表示，這與他的研究經(jīng)歷息息相關。博士第一年，他主要做一些醫(yī)療數(shù)據(jù)的分析研究，其間涉及到諸多深度學習研究，到了博二和博三，他的研究逐漸從醫(yī)療應用轉換到深度學習算法。這期間，他逐漸對要不要自己做一個工具集進行了思索，隨后所做的一個模型壓縮項目真正導向他做出 TensorLayer。在這個項目中，他最開始使用的工具是 Theano，在往 TensorFlow 切換的過程中，能使用的工具只有 Keras，但是 Keras 存在一個問題——透明性很差，很難進行一些底層操作，而這對模型壓縮中的特定操作造成了困擾。因為需求導向，他決定做出一個追求簡潔和透明性的工具，滿足實驗室的科研需求，提高研究的效率。

旅行中的奇思妙想

而將 TensorLayer 導向開源，則是另一則小故事。

2016 年 9 月，董豪陪同父母旅游，在從美國乘坐游輪去墨西哥的過程中，他將這一工具開源。

「本來已經(jīng)答應了爸媽和他們一起坐船，但我一上去就后悔了。游輪看起來似乎很不錯，在船上欣賞美景，感受大自然，但真實的情況是，連續(xù) 7 天每天就是吃吃自助餐，看看表演，翻來覆去地看海景，這種感覺真的很無聊?！?/p>

在上船的次日，他租好 WiFi，花了一周時間，把過去所有的代碼整理好，發(fā)布了 TensorLayer 第一版。當時的想法是，開源的時機已經(jīng)成熟，既然有了好的東西，就應該拿出來給開發(fā)者群體使用，看看效果如何。而這次的游船之旅，則是讓他心無旁鷺整理 TensorLayer 的最佳催化劑。

以現(xiàn)在的眼光看來，1.0 版本略顯粗糙。但隨著這一工具的開源，陸續(xù)有更多的開發(fā)者提出意見，TensorLayer 開發(fā)者團隊也基于此做出了更多更好的提升。這一工具不再是一個人的單打獨斗。

最初的開發(fā)團隊以他們實驗室為主，此外還有帝國理工大學的一些校友，隨著畢業(yè)或研究方向的轉變，有些人慢慢離開了這支隊伍。隨著開源，陸續(xù)有了許多網(wǎng)友加入這個社群，直到現(xiàn)在都還一直有新鮮血液涌入。

開源之后，他也迎來另一個收獲，2017 年，TensorLayer 獲得 ACM MM2017 最佳開源軟件獎。

「無心插柳柳成蔭」的獎項

ACM MM2017 最佳開源軟件獎對董豪來說完全是預料之外的收獲。在這一工具開源之后，他的好友在一次閑談時對他說道，「既然做了，不如寫篇論文投個會議？」董豪調侃道，「嗯，那就試試吧。」

就是這樣一次不經(jīng)意的對話，沒想到促成了這次最佳開源軟件獎。得知獲獎時，董豪正在意大利參加 ICCV，由論文的另一位共同作者在 ACM MM 現(xiàn)場領獎。

彼時他們團隊身處英國，做深度學習研究的團隊，以中、美居多，他們對這一工具的宣傳也較少，唯一的傳播途徑就是，董豪會在知乎里回答一些關于 TensorLayer 的疑問。即便這樣，TensorLayer 也收獲了不少用戶群體。好用的工具大家都喜歡。

在這一工具獲得 ACM MM 最佳開源軟件獎之后，熟知它的人變得更多，社群里的討論也日益熱烈。新的規(guī)劃也開始啟動。

董豪決定，一定要好好維護這一工具，做到畢業(yè)之后繼續(xù)對用戶群體負責。從最初的以實驗室需求為導向，發(fā)展到今天，他對為什么要做好 TensorLayer 又有了新的理解。

他對雷鋒網(wǎng)表示，TensorLayer 是一個沒有任何公司背景的純開放社區(qū)，這樣的好處是，沒有公司之間的諸多復雜問題。「有些公司做出來的工具，他們可能抱著這樣的考慮，別家的算法，我們就支持的慢一點，本來可以這次進行升級，我們放在下一次。而 TensorLayer 則不同，如果我今天做了一個很好用的東西，或者是在哪篇論文中發(fā)現(xiàn)了很好用的方法，那我們可以馬上加進來，讓開發(fā)者第一時間用上?！?/p>

2.0 版本全新升級

去年 9 月份，他開始考慮進行這次升級，打算做出新的設計，找到自己的特色，對優(yōu)勢進行提升。TensorLayer 的底層基于 TensorFlow，而 TensorFlow 一直因為靜態(tài)圖的問題被廣大開發(fā)者詬病，他表示，既然 TensorFlow 決定升級至 2.0 版本，TensorLayer2.0 版本也可以提上議程。

在這次的更新中，董豪也撰文，透露了如下特征：

TensorLayer 由底層至上層可以分為三大模塊：

1. 神經(jīng)網(wǎng)絡模塊：TensorLayer 提供大量工業(yè)界和學術界需要的參考層實現(xiàn)（比如 CNN、RNN、BinaryNet 等），提供類似 Pytorch 的「動態(tài)」聲明方式，也提供類似 Lasagne 的堆疊式「靜態(tài)」聲明方法來建立模型，并支持動態(tài)圖和靜態(tài)圖兩種訓練模式，以支持不同的開發(fā)需求。

2. 工作流模塊：為了支持整個深度學習開發(fā)流程，TensorLayer 提供了大量數(shù)據(jù)處理和訓練流程所需的工具。此外，為了管理整個深度學習開發(fā)，以支持項目的存儲、比較、溯源等，TensorLayer 提供了生命周期管理功能，包括模型、數(shù)據(jù)和訓練流程的管理，以及支持任務分發(fā)以實現(xiàn)多任務并行執(zhí)行，以加快訓練（比如超參數(shù)選?。┖妥詣赢a(chǎn)品化部署。

3. 應用模塊：為了促進產(chǎn)業(yè)界和學術界的交流，TensorLayer 社區(qū)提供了大量應用和預訓練模型，包括醫(yī)療圖像分析、圖像增強、人體姿態(tài)估計、文本生成、風格遷移、各類增強學習算法等等。

與 Keras 和 Pytorch 相比，TensorLayer 提高了神經(jīng)網(wǎng)絡模塊的抽象化設計，同時實現(xiàn)了降低使用現(xiàn)有層和開發(fā)新層的工作量，既不需要開發(fā)者編寫函數(shù)以計算層的輸出尺寸（Keras 需要），也不需要在使用層時輸入上一層的輸出尺寸（Pytorch 需要）。這些設計大大方便了框架的拓展。

此外，TensorLayer 提供了整套端到端的工作流，包括數(shù)據(jù)預處理、訓練、服務模塊、數(shù)據(jù)庫管理，以及任務自動發(fā)放和收集。

目前，TensorLayer 團隊分為框架開發(fā)和應用開發(fā)兩個分支，框架開發(fā)主要做一些底層的支持和高層抽象，應用開發(fā)會基于這一工具做更多應用。本次大更新的主要貢獻來自北京大學和帝國理工學院的核心團隊，其中，北京大學信息科學技術學院的兩位大三學生吳潤迪和吳睿海是本次更新的最核心成員。

未來

今年六月，TensorFlow 2.0 Beta 版本發(fā)布，終版 API 基本定型，貢獻者團隊搭配 TensorLayer2.0，實現(xiàn)了全套深度強化學習（Deep Reinforcement Learning）算法，包括 DQN 以及一系列的改進算法，PG、TRPO、PPO 等算法，AC 算法及其一系列改進，最大熵方法和策略/值迭代等方法。他們也承諾，將持續(xù)開源最新深度學習和深度強化學習算法。

目前，貢獻者團隊與硬件開源社區(qū) Sipeed 合作，將推出基于國產(chǎn) K210 嵌入式 AI 芯片模組及其模型轉換器。屆時，TensorLayer 中的所有案例和模型都將可以直接導入芯片中，成本能控制在 20 元以下。他們已經(jīng)做出了實時目標識別、人臉識別、風格轉換等的 demo。

對于在 TensorLayer 的開發(fā)與更新這三年中的體會，董豪對雷鋒網(wǎng)表示，這是一個不斷結識新朋友，自我學習的過程?！改軐W到很多工程上的東西，也會遇到各種各樣的需求。開發(fā)者提出來之后，我就知道，哇，原來世界上還有這種算法。當然，也會認識許多國內國外的朋友，其中有很多很有意思的人。我們做的事情是開源，所以接觸到的很多人都極具貢獻精神?！?/p>

董豪還提到，TensorLayer 也創(chuàng)造了很多促進個人事業(yè)的機會，比如有一些大公司找到他，開出了在業(yè)界極具競爭力的條件。不過他最后還是選擇了北京大學，將繼續(xù)從事科研。社區(qū)貢獻者也都拿到了 OpenAI, Google Brain, Nvidia Research 等研究機構的 offer。

他將于今年 9 月正式加入北大前沿計算研究中心，該中心在機器學習理論和應用方面都非常強。在未來，他會做一些基于深度學習的理論研究，以及機器學習在視覺、醫(yī)療、圖形學方面的一些應用，歡迎大家申請博士生和博士后。此外，他對非監(jiān)督學習也特別感興趣，計劃在數(shù)據(jù)的高效利用上進行更多探索。我們期待未來他帶來更多新的研究，推動 TensorLayer 更多地助益于開發(fā)者，創(chuàng)造一個開源、共享的生態(tài)。

TensorLayer 部分貢獻者

董豪知乎主頁：https://www.zhihu.com/people/zsdh123/activities

TensorLayer GitHub 地址：https://github.com/tensorlayer/tensorlayer

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。