雷鋒網(wǎng) AI 科技評論按：在生物和醫(yī)學(xué)領(lǐng)域，研究員們常運(yùn)用顯微鏡來觀察肉眼無法獲得的細(xì)胞細(xì)節(jié)信息。雖然運(yùn)用透射光顯微鏡（對生物樣本單側(cè)照射生成像），觀察起來相對簡單且活體培養(yǎng)樣本具有良好耐受性，但是其生成的圖像難以正確評估。熒光顯微技術(shù)中會用熒光分子染色需要觀察的目標(biāo)（比如細(xì)胞核），這種做法能簡化分析過程，但其仍需要復(fù)雜的樣品制備。隨著包括圖像質(zhì)量自動(dòng)評估算法和協(xié)助病理醫(yī)師診斷癌組織在內(nèi)的機(jī)器學(xué)習(xí)技術(shù)在顯微鏡領(lǐng)域的應(yīng)用越來越廣泛，谷歌因此考慮是否可以結(jié)合透射光顯微鏡和熒光顯微鏡這兩種顯微鏡技術(shù)來開發(fā)一種深度學(xué)習(xí)系統(tǒng)，從而最大限度降低兩者的不足之處。

4 月 12 日，谷歌發(fā)表了結(jié)合透射光顯微鏡和熒光顯微鏡這兩種顯微鏡技術(shù)，并利用深度學(xué)習(xí)來對顯微鏡細(xì)胞圖像進(jìn)行分色熒光標(biāo)記的研究博文，雷鋒網(wǎng) AI 科技評論將其研究內(nèi)容編譯如下：

4 月 12 日出版的《Cell》 雜志上刊登了谷歌的論文《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》，其中展示了深層神經(jīng)網(wǎng)絡(luò)能夠通過透視光圖像來預(yù)測其熒光圖像，無需修改細(xì)胞就可以生成有標(biāo)簽的、有用的圖像，這將使得對未修改的細(xì)胞做長期追蹤分析、在細(xì)胞治療中最大程度減少侵入性的細(xì)胞檢查、以及同時(shí)運(yùn)用大量標(biāo)簽進(jìn)行分析成為可能。對于這項(xiàng)研究，谷歌開源了網(wǎng)絡(luò)設(shè)計(jì)、完整的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)、經(jīng)過訓(xùn)練后的模型檢查點(diǎn)以及示例代碼。

研究背景 

透射光顯微鏡技術(shù)雖然易用，但是其也會生成難以分辨的圖像。例如，下圖就是一張相襯顯微鏡得到的圖像，其中像素的顏色深度表示了光線穿過樣本時(shí)相位變化的程度。

上面圖像均為自多能干細(xì)胞的人體運(yùn)動(dòng)神經(jīng)元培養(yǎng)物在透射光顯微鏡下（運(yùn)用相位對比法）觀察到圖像。示例圖 1：示的可能為神經(jīng)元細(xì)胞。示例圖 2：觀察圖像的缺陷致掩蓋了其下方的細(xì)胞。示例圖 3：神經(jīng)突圖像。示例圖 4：可能為死亡細(xì)胞。上圖比例尺：40μm。上述圖像以及數(shù)字均來自斯通研究所的 Finkbeiner 實(shí)驗(yàn)室。

在上圖中，很難分辨出示例圖 1 的細(xì)胞群中的單元數(shù)量，或者示例圖 4 中細(xì)胞的位置和狀態(tài)（提示：上部中間位置有一個(gè)幾乎不可見的扁平細(xì)胞）。同時(shí)也很難始終讓精細(xì)結(jié)構(gòu)保持在對焦范圍內(nèi)，比如示例圖 3 中的神經(jīng)樹突。

我們可以通過采集不同 z 高度的圖像來獲取透射光顯微鏡下的更多信息：一組關(guān)于（x，y）位置的圖像，控制其中的 z（距離攝像機(jī)的距離）系統(tǒng)地變化。這導(dǎo)致細(xì)胞的不同部分對焦或者脫焦，從而提供了樣本細(xì)胞的 3D 結(jié)構(gòu)信息。不幸的是，通常只有有經(jīng)驗(yàn)的分析人員才能看懂這不同高度的圖像，如何分析這樣的不同高度圖像也是自動(dòng)化分析過程的巨大挑戰(zhàn)。下面即為一個(gè) z 堆棧示例圖。

相同細(xì)胞的相位對比 z 堆棧。需要注意，當(dāng)焦點(diǎn)轉(zhuǎn)移時(shí)細(xì)胞外觀將發(fā)生如何變化。我們現(xiàn)在可以觀察到示例圖 1 右下角的模糊形狀是一個(gè)單一的橢圓形單元，示例圖 4 最有的細(xì)胞要比最上面的細(xì)胞高，這可能表明它已經(jīng)經(jīng)歷了細(xì)胞程序性死亡。

相比上圖的透視光圖像，下方用熒光顯微鏡觀察到的圖像就容易分析多了，因?yàn)檠芯咳藛T將想觀察的內(nèi)容容用熒光進(jìn)行了精心標(biāo)記。例如，絕大多數(shù)人類細(xì)胞只有一個(gè)細(xì)胞核，因此可以進(jìn)行細(xì)胞核標(biāo)記（如下圖的藍(lán)色標(biāo)記），這也就使利用簡單工具統(tǒng)計(jì)圖像中的細(xì)胞數(shù)量成為可能。

上面是同一細(xì)胞在熒光顯微鏡下的圖像。藍(lán)色熒光標(biāo)記 DNA 以突出細(xì)胞核。綠色熒光標(biāo)記僅存在樹突中的一種神經(jīng)子結(jié)構(gòu)的蛋白質(zhì)。紅色熒光標(biāo)記僅存在軸突中的另一種神經(jīng)子結(jié)構(gòu)的蛋白質(zhì)。分色熒光標(biāo)記幫助研究人員可以更加容易地了解樣本。例如，通過例圖 1 中的綠色和紅光熒光標(biāo)記，可以確認(rèn)這是一個(gè)神經(jīng)群集。例圖 3 中的紅色熒光標(biāo)簽代表的是軸突而非樹突。例圖 4 中左上角藍(lán)色的熒光標(biāo)記揭示了，之前通過光透視顯微鏡難以觀察到的細(xì)胞核，而左側(cè)的細(xì)胞缺乏藍(lán)色熒光標(biāo)記，因此它為無 DNA 細(xì)胞碎片。

同時(shí)，熒光顯微鏡也存在明顯的硬傷。首先，樣本的制備和對其進(jìn)行熒光標(biāo)記本身就帶來了復(fù)雜性和可變性。其次，當(dāng)樣本中存在許多且不同的熒光標(biāo)記時(shí)，光譜的重疊會導(dǎo)致難以分辨哪種顏色對應(yīng)哪種標(biāo)記。所以通常會限制研究人員在同一樣本中同時(shí)使用三或四個(gè)標(biāo)記，以免造成混淆。第三，熒光標(biāo)記可能對樣本細(xì)胞產(chǎn)生毒性，有時(shí)還會致其死亡，這個(gè)缺陷也使熒光標(biāo)記在需要長時(shí)間觀察細(xì)胞的縱向研究中難以得到。

與深度學(xué)習(xí)同行，看到更多可能

 在谷歌的這篇論文中，作者們展示了深度神經(jīng)網(wǎng)絡(luò)可以根據(jù)透射光 z 堆棧來預(yù)測其分色熒光圖像。為此，我們創(chuàng)建了投射光 z 堆棧與分色熒光圖像匹配的數(shù)據(jù)集，并訓(xùn)練神經(jīng)網(wǎng)絡(luò)根據(jù)投射光 z 堆棧來預(yù)測其分色熒光圖像。下面就是這一訓(xùn)練過程的圖示介紹。

這是訓(xùn)練系統(tǒng)的概述：（A）為訓(xùn)練實(shí)例的數(shù)據(jù)集：同一樣本畫面里 z 堆棧的透射光圖像和熒光標(biāo)記圖像的像素匹配集。使用不同顏色熒光進(jìn)行標(biāo)記產(chǎn)生的熒光標(biāo)記圖像，隨著不同訓(xùn)練實(shí)例的切換而改變顏色變化；其中的類似棋盤圖像因未給定實(shí)例而無熒光標(biāo)記。未經(jīng)訓(xùn)練的深度網(wǎng)絡(luò)（B）在對數(shù)據(jù) A 進(jìn)行預(yù)測，訓(xùn)練之后再對數(shù)據(jù) A 進(jìn)行預(yù)測就變成了（C）。數(shù)據(jù) A 的投射光 z 堆棧圖像（D）。(E) ：利用訓(xùn)練后的深度神經(jīng)，根據(jù) A 數(shù)據(jù)的每一個(gè)新圖像像素信息（D）來預(yù)測 A 數(shù)據(jù)的熒光標(biāo)記（C）。

該研究過程中，谷歌由 Inception 的模塊化設(shè)計(jì)獲得靈感，開發(fā)了一種由三種基本構(gòu)建塊組成的新型神經(jīng)網(wǎng)絡(luò)：第一種，保持比例的模塊配置，它不會改變特征的空間尺度大?。坏诙N，縮小比例的模塊配置，它會把空間比例縮放為 2 倍；第三種，放大比例，它會把空間比例縮放為一半。這使得將網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)難題設(shè)計(jì)成兩個(gè)更為簡單的問題：構(gòu)建塊（宏架構(gòu)）的安排部分和構(gòu)建塊本身（微架構(gòu)）的設(shè)計(jì)部分。谷歌使用本文前面討論的設(shè)計(jì)原則解決掉了第一個(gè)問題，第二個(gè)問題則是利用 Google Hypertune 的自動(dòng)搜索來實(shí)現(xiàn)。

為了保證本研究方法合理，谷歌使用了來自 Alphabet 實(shí)驗(yàn)室以及兩個(gè)外部合作伙伴的數(shù)據(jù)對模型進(jìn)行了驗(yàn)證：Gladstone 研究所 Steve Finkbeiner 實(shí)驗(yàn)室和哈佛 Rubin 實(shí)驗(yàn)室。這些數(shù)據(jù)涵蓋了三種透射光成像模式（明場，相差和微分干涉對比）和三種培養(yǎng)類型（來自誘導(dǎo)多能干細(xì)胞的人體運(yùn)動(dòng)神經(jīng)元，大鼠皮質(zhì)培養(yǎng)物和人體乳腺癌細(xì)胞）。谷歌發(fā)現(xiàn)，該方法可以準(zhǔn)確預(yù)測包括細(xì)胞核，細(xì)胞類型（如神經(jīng)）和細(xì)胞狀態(tài)（如細(xì)胞死亡）在內(nèi)的幾種熒光標(biāo)記。下圖顯示了該模型在將神經(jīng)元示例的透射光輸入后，得出的分色熒光標(biāo)記預(yù)測結(jié)果。

輸入神經(jīng)元示例的透射光-輸出熒光標(biāo)記預(yù)測結(jié)果

示例圖顯示了投射光和熒光標(biāo)記成像的相同細(xì)胞圖像，以及谷歌模型對其預(yù)測生成熒光標(biāo)記。盡管輸入的圖像存在偽像（記號 2 圖像），但是模型依舊預(yù)測生成了正確的熒光標(biāo)記。（記號 3 圖像）根據(jù)細(xì)胞之間的最近距離推測出這些為軸突。（記號 4 圖像）顯示了頂部難以發(fā)現(xiàn)的細(xì)胞，并將左側(cè)的物體正確地標(biāo)記識別為無 DNA 細(xì)胞碎片。

自己親自動(dòng)手試試吧！ 

谷歌已經(jīng)開源了該模型、完整數(shù)據(jù)集、訓(xùn)練、推理代碼以及一個(gè)示例。谷歌還聲稱，只需借助最少的額外數(shù)據(jù)訓(xùn)練就能生成新標(biāo)注/標(biāo)簽：在相關(guān)論文和示例代碼中，谷歌展示了根據(jù)單張圖像就可學(xué)會生成熒光標(biāo)記。這要?dú)w功于遷移學(xué)習(xí)：如果模型已經(jīng)掌握了類似任務(wù)，那么模型就可以更快地學(xué)習(xí)新任務(wù)，并使用更少的訓(xùn)練數(shù)據(jù)。

谷歌希望能夠在不修改細(xì)胞的情況下生成標(biāo)記的，有用的圖像，這也將為生物學(xué)和醫(yī)學(xué)研究開創(chuàng)全新的實(shí)驗(yàn)類型。如果你希望在自己的研究中嘗試這項(xiàng)技術(shù)，可以請閱讀《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》論文或者前往 github 頁面查看模型代碼！

via Google Research Blog，雷鋒網(wǎng)AI科技評論報(bào)道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。