0
以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)技術(shù)，已經(jīng)在很大程度顛覆了傳統(tǒng)學(xué)科的研究方法。然后，對(duì)于傳統(tǒng)學(xué)科的研究人員，機(jī)器學(xué)習(xí)算法繁雜多樣，到底哪種方法更適合自己的研究問(wèn)題，常常是一大困擾。
從2006年到2020年，這15年內(nèi)，深度學(xué)習(xí)經(jīng)歷了發(fā)展期、爆發(fā)期，期間誕生了許多算法原理，眾多神經(jīng)網(wǎng)絡(luò)也在多項(xiàng)人類任務(wù)上都表現(xiàn)優(yōu)異。例如，2012年，Hinton課題組為了證明深度學(xué)習(xí)的潛力，首次參加ImageNet圖像識(shí)別比賽，其通過(guò)構(gòu)建的CNN網(wǎng)絡(luò)AlexNet一舉奪得冠軍，且碾壓第二名（SVM方法）的分類性能。
2013、2014、2015、2016年，通過(guò)ImageNet圖像識(shí)別比賽，DL的網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練方法，GPU硬件的不斷進(jìn)步，促使其在其他領(lǐng)域也在不斷的征服戰(zhàn)場(chǎng)。
尤其是2016年3月，由谷歌旗下DeepMind公司開(kāi)發(fā)的AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝之后，更是掀起了一陣深度學(xué)習(xí)高潮。
爆發(fā)之后回歸平靜，算法井噴之后，目前更多的是需求是面向產(chǎn)品，如何將算法集成起來(lái)包裝成產(chǎn)品？如何落地？如何促進(jìn)其他領(lǐng)域的科學(xué)研究？能夠回答這樣的問(wèn)題，才能更多增加AI價(jià)值。
更加具體一些，此類問(wèn)題可以衍生為：在什么場(chǎng)景下，該應(yīng)用什么樣的深度算法？或者，這些深度學(xué)習(xí)算法的特點(diǎn)適合什么領(lǐng)域的科學(xué)研究？
關(guān)于標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，普遍認(rèn)為包括用于圖像預(yù)測(cè)和變換的卷積神經(jīng)網(wǎng)絡(luò)、用于化學(xué)領(lǐng)域的圖神經(jīng)網(wǎng)絡(luò)、專長(zhǎng)于序列數(shù)據(jù)的transformer......最基本的深度神經(jīng)網(wǎng)絡(luò)當(dāng)屬多層感知器，模型設(shè)置非常簡(jiǎn)單，只有一堆非線性函數(shù)組成的全連接層。
雖然簡(jiǎn)單，但是對(duì)付數(shù)據(jù)可能由一組截然不同的特征組成的問(wèn)題很有用，例如表格數(shù)據(jù)。這個(gè)模型比邏輯回歸和線性回歸有更強(qiáng)的表達(dá)能力。但是在用的時(shí)候，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，選擇一些特征集進(jìn)行計(jì)算，并將其用作輸入。最近的一項(xiàng)研究是用在了藥物開(kāi)發(fā)上面，研究機(jī)構(gòu)是中藥質(zhì)量研究國(guó)家重點(diǎn)實(shí)驗(yàn)室。
多層感知機(jī)只是簡(jiǎn)單的深度網(wǎng)絡(luò)，在它的基礎(chǔ)上，卷積神經(jīng)網(wǎng)絡(luò)發(fā)展了起來(lái)，成為了最廣為人知的神經(jīng)網(wǎng)絡(luò)家族，其特有的卷積層允許許神經(jīng)網(wǎng)絡(luò)在圖像的不同空間位置重復(fù)使用參數(shù)。作為一種對(duì)圖像數(shù)據(jù)非常有用的歸納偏差，能夠幫助更加有效地學(xué)習(xí)一些好特征以應(yīng)用層面來(lái)分，卷積神經(jīng)網(wǎng)絡(luò)派生了圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割和實(shí)例分割、圖像超分辨率、圖像配準(zhǔn)、姿勢(shì)估計(jì)......
其中四個(gè)的分類的區(qū)別大致可以用上圖表示他們之間的區(qū)別可以大致用上圖表示，在分類的時(shí)候整個(gè)圖像只有一個(gè)氣球標(biāo)簽，而在目標(biāo)檢測(cè)中，每個(gè)氣球都用一個(gè)邊界框進(jìn)行定位。而在語(yǔ)義分割中，算法識(shí)別的是氣球?qū)?yīng)的所有像素，在實(shí)例分割中分別識(shí)別每個(gè)單獨(dú)的氣球。
簡(jiǎn)單來(lái)看，圖像分類是經(jīng)過(guò)一個(gè)函數(shù)，輸入一個(gè)圖形，輸出一個(gè)類別。在醫(yī)學(xué)上將胸部X圖片映射到二進(jìn)制疾病標(biāo)簽，就是圖像分類的應(yīng)用。
常見(jiàn)的用于圖像分類的神經(jīng)網(wǎng)絡(luò)有：VGG，這個(gè)模型在多個(gè)遷移學(xué)習(xí)任務(wù)中的表現(xiàn)要優(yōu)于googLeNet，缺點(diǎn)在于參數(shù)量有140M之多，需要更大的存儲(chǔ)空間；Resnet，能夠?qū)Ω短荻认Ш吞荻缺▎?wèn)題；DenseNet，其特色在于能夠通過(guò)特征在channel上的連接來(lái)實(shí)現(xiàn)特征重用；還有最新的ResNeXt和EfficientNets，其能夠?qū)W(wǎng)絡(luò)深度、寬度和輸入圖像的空間分辨率有單獨(dú)的縮放系數(shù)。圖像分類算法已經(jīng)應(yīng)用于了許多不同的科學(xué)項(xiàng)目，例如分析低溫電子顯微鏡技術(shù)，但主要還是在醫(yī)學(xué)上應(yīng)用廣泛，因?yàn)閺难劭频椒派淇贫夹枰ㄟ^(guò)圖像預(yù)測(cè)疾病標(biāo)簽。
如果說(shuō)圖像分類是對(duì)圖像做一個(gè)大致的總結(jié)，那么目標(biāo)檢測(cè)就深入到圖像的一些細(xì)節(jié)中了。例如給定一張戶外圖片，里面有樹(shù)、人、狗，目標(biāo)檢測(cè)算法的任務(wù)是分別同時(shí)識(shí)別出這三個(gè)物體，并用“圈圈”標(biāo)記他們。
有很多卷積框架在目標(biāo)檢測(cè)方向表現(xiàn)優(yōu)異，包括最早期的Faster R-CNN，后來(lái)在他基礎(chǔ)上改進(jìn)的 Mask R-CNN斬獲了 ICCV2017 年的最佳論文，在實(shí)例分割、目標(biāo)檢測(cè)、人體關(guān)鍵點(diǎn)檢測(cè)三個(gè)任務(wù)都取得了很好的效果。除此之外，很多改進(jìn)的模型例如，YOLOv3、EfficientDets 以及剛剛開(kāi)源的 YOLOv4 也是做目標(biāo)檢測(cè)的很好選擇。
目標(biāo)檢測(cè)也是醫(yī)學(xué)方向大愛(ài)，在跨模式的腫瘤細(xì)胞識(shí)別，放射學(xué)中的骨折判斷都已經(jīng)有相關(guān)研究發(fā)布。如果更加深入到圖像的底層細(xì)節(jié)，對(duì)圖像的像素進(jìn)行分類，那么這就涉及到語(yǔ)義分割技術(shù)了。如果有一張街道圖片，里面有道路、車輛、行人等，語(yǔ)義分割算法的目的是確定圖片中像素的歸屬，即是屬于車輛，還是屬于道路，亦或者屬于行人。而實(shí)例分割則更加復(fù)雜，它要弄明白的是這個(gè)像素是屬于行人一，還是行人二，還是行人三。
綜上，分割模型需要對(duì)每個(gè)像素進(jìn)行分類，所以它們輸出的不是單個(gè)類別的標(biāo)簽和邊界框，而是完整的圖像。設(shè)計(jì)分割模型時(shí)要求算法能夠保存圖片的空間信息。當(dāng)前比較常用的架構(gòu)是U-net，主要由卷積層、最大池化層（下采樣）、反卷積層（上采樣）以及ReLU非線性激活函數(shù)組成。
FCN，此架構(gòu)不含全連接層的全卷積網(wǎng)絡(luò)，可適應(yīng)任意尺寸輸入；增大數(shù)據(jù)尺寸的反卷積層，能夠輸出精細(xì)的結(jié)果；結(jié)合不同深度層結(jié)果的skip結(jié)構(gòu)，同時(shí)確保魯棒性和精確性。
此外，還有Segnet模型，它在FCN的語(yǔ)義分割任務(wù)基礎(chǔ)上，搭建編碼器-解碼器對(duì)稱結(jié)構(gòu)，實(shí)現(xiàn)端到端的像素級(jí)別圖像分割。
最后，做實(shí)例分割，首選 Mask R-CNN和最近的Detectron2框架。值得一提的是Detectron2 與其他框架不同，其還包含了全景分割這一任務(wù)。
分割任務(wù)在醫(yī)學(xué)界應(yīng)用也非常廣泛，分割大腦MR圖像，識(shí)別不同組織中細(xì)胞的關(guān)鍵區(qū)域，甚至研究骨骼結(jié)構(gòu)等方向已經(jīng)發(fā)表了許多論文。
除了上述四個(gè)，圖像超分辨率也是卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)分支應(yīng)用。對(duì)于低分辨率圖像，傳統(tǒng)的解決方案是想法辦在圖片上思佳一些約束條件，如稀疏度等。卷積神經(jīng)網(wǎng)絡(luò)家族中的SRCNN找到了稀疏編碼和卷積神經(jīng)網(wǎng)絡(luò)之間的對(duì)應(yīng)關(guān)系。RDN網(wǎng)絡(luò)已經(jīng)成為實(shí)現(xiàn)超分辨率的流行方法。此外，預(yù)測(cè)濾波流（Predictive Filter Flow）在圖像去噪和去模糊化方向也非常棒。
圖像配準(zhǔn)是數(shù)字圖像處理的一種重要應(yīng)用，用于對(duì)齊兩幅或多幅相同場(chǎng)景的圖片。圖像配準(zhǔn)需要輸入圖像與參考圖像。輸入圖像是我們希望變換的圖像，參考圖像是想要配準(zhǔn)輸入圖像的圖像。
這種需要讓兩幅圖像對(duì)齊的技術(shù)核心是卷積神經(jīng)網(wǎng)絡(luò)，通常需要的是編碼器-解碼器結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，例如U-net。
姿勢(shì)估計(jì)也能看做卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用，重點(diǎn)在于圖片中人物的關(guān)鍵節(jié)點(diǎn)，例如膝蓋、手肘、頭部等。2D的姿勢(shì)估計(jì)是計(jì)算機(jī)的核心問(wèn)題，此類的數(shù)據(jù)集和卷積架構(gòu)也比較多，早期的堆疊沙漏網(wǎng)絡(luò)結(jié)構(gòu)衍生的各種變種算法，牢牢占據(jù)了姿態(tài)檢測(cè)的半壁江山。
最近的網(wǎng)絡(luò) HRNet，能夠通過(guò)并行連接高分辨率到低分辨率卷積來(lái)保持高分辨率表示，并通過(guò)重復(fù)跨并行卷積執(zhí)行多尺度融合來(lái)增強(qiáng)高分辨率表示。另外，卡內(nèi)基梅隴大學(xué)也提供了端到端的多人姿勢(shì)檢測(cè)系統(tǒng)，用自監(jiān)督學(xué)習(xí)實(shí)現(xiàn)了人類3D動(dòng)作追蹤。值得一提的是，姿勢(shì)估計(jì)已經(jīng)在助力動(dòng)物行為研究的相關(guān)項(xiàng)目了。
圖是一種非常神奇的表示方式，生活中絕大多數(shù)的現(xiàn)象或情境都能用圖來(lái)表示，例如人際關(guān)系網(wǎng)、道路交通網(wǎng)、信息互聯(lián)網(wǎng)等等。相比于傳統(tǒng)的圖模型，圖網(wǎng)絡(luò)最大的優(yōu)勢(shì)在于它不只可以對(duì)一個(gè)節(jié)點(diǎn)進(jìn)行語(yǔ)義表示。
可以把圖神經(jīng)網(wǎng)絡(luò)看做將深度學(xué)習(xí)技術(shù)應(yīng)用到符號(hào)表示的圖數(shù)據(jù)上，或者說(shuō)是從非結(jié)構(gòu)化數(shù)據(jù)擴(kuò)展到了結(jié)構(gòu)化數(shù)據(jù)。應(yīng)用特點(diǎn)：數(shù)據(jù)具有固有的圖形結(jié)構(gòu)特點(diǎn)，能夠在圖結(jié)構(gòu)上學(xué)習(xí)到一些函數(shù)，無(wú)論是某些頂點(diǎn)，還是全局都可以。
對(duì)隨時(shí)間演變的圖結(jié)構(gòu)執(zhí)行預(yù)測(cè)可以使用時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)。技術(shù)參考：大多數(shù)圖神經(jīng)網(wǎng)絡(luò)遵循從頂點(diǎn)鄰域聚集信息并使用這些信息來(lái)更新特征向量的高級(jí)結(jié)構(gòu)。
當(dāng)前也有一些結(jié)構(gòu)變體與其他的神經(jīng)網(wǎng)絡(luò)模型相聯(lián)系，例如卷積神經(jīng)網(wǎng)絡(luò)和遞歸模型，還有時(shí)空?qǐng)D網(wǎng)絡(luò)已經(jīng)用來(lái)解決視頻中動(dòng)作識(shí)別問(wèn)題。有兩篇文章做了很好的總結(jié)，第一篇總結(jié)了早期的一些流程方法，第二篇對(duì)不同類型的架構(gòu)、問(wèn)題、基準(zhǔn)數(shù)據(jù)集和開(kāi)源資料進(jìn)行了整理。
文章1：Justin Gilmer, Samuel S Schoenholz, Patrick F Riley, Oriol Vinyals, and George E Dahl. Neural message passing for quantum chemistry. In Proceedings of the 34th International Conference on Machine LearningVolume 70, pages 1263–1272. JMLR. org, 2017.
文章2：Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, and Philip S Yu. A comprehensive survey on graph neural networks. arXiv preprint arXiv:1901.00596, 2019.圖神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理中的應(yīng)用包括多跳閱讀、實(shí)體識(shí)別、關(guān)系抽取以及文本分類等。在計(jì)算機(jī)視覺(jué)中的應(yīng)用是根據(jù)語(yǔ)義生成圖像。 在生物醫(yī)療領(lǐng)域包括新藥物的發(fā)現(xiàn)、化合物篩選、蛋白質(zhì)相互作用點(diǎn)檢測(cè)、以及疾病預(yù)測(cè)。
數(shù)據(jù)的一個(gè)非常常見(jiàn)的屬性是具有順序結(jié)構(gòu)，例如視頻中的幀、蛋白質(zhì)的氨基酸序列或句子中的單詞。開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)模型來(lái)處理序列數(shù)據(jù)一直是過(guò)去幾年來(lái)最廣泛的研究領(lǐng)域之一。其中很大一部分是由自然語(yǔ)言處理任務(wù)的進(jìn)展所推動(dòng)，該領(lǐng)域的重點(diǎn)是讓計(jì)算機(jī)讀懂人的工作。這個(gè)領(lǐng)域的機(jī)器翻譯和問(wèn)題回答兩個(gè)熱門(mén)的任務(wù)已經(jīng)取得了一些進(jìn)展。當(dāng)前需要處理序列數(shù)據(jù)的核心人物包括：語(yǔ)言建模、序列到序列轉(zhuǎn)換、問(wèn)答等
序列到序列預(yù)測(cè)任務(wù)的圖示語(yǔ)言建模（Next Token Prediction）作為一種訓(xùn)練方法，將時(shí)間或者位置t的序列標(biāo)記作為輸入，然后用這些標(biāo)記來(lái)預(yù)測(cè)t+1的標(biāo)記。在NLP任務(wù)中，該方法體現(xiàn)在：將句子或者單詞作為輸入送到神經(jīng)網(wǎng)絡(luò)中，然后預(yù)測(cè)下一個(gè)單詞。
具體例子，如：給定一個(gè)句子 "The cat sat on the roof"， "The "作為作為神經(jīng)網(wǎng)絡(luò)的輸入，要求預(yù)測(cè) "cat"，然后被喂入 "The cat"，并要求預(yù)測(cè) "sat"，以此類推。這種方法已經(jīng)成為自然語(yǔ)言中流行的方法，另外，在一些科學(xué)項(xiàng)目中也應(yīng)用廣泛，例如蛋白質(zhì)功能預(yù)測(cè)，AlphaFold預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)中部分使用此方法。
另一個(gè)比較流行的方法是序列到序列的轉(zhuǎn)換，即將一個(gè)序列轉(zhuǎn)換為另一個(gè)序列。此方法一般機(jī)器翻譯常用，通常依賴于具有編碼器-解碼器結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，其中編碼器神經(jīng)網(wǎng)絡(luò)接收輸入序列并學(xué)習(xí)提取重要特征，然后解碼器神經(jīng)網(wǎng)絡(luò)使用該特征來(lái)產(chǎn)生目標(biāo)輸出。該范式已經(jīng)用于生物學(xué)和能源預(yù)測(cè)，其中在里面發(fā)揮重要作用的是Attention技術(shù)。
遞歸神經(jīng)網(wǎng)絡(luò)模型的示意圖問(wèn)答也能夠作為處理序列數(shù)據(jù)的一個(gè)基準(zhǔn)，此類神經(jīng)網(wǎng)絡(luò)模型的標(biāo)準(zhǔn)是：一段文字（作為上下文）和一個(gè)具體的問(wèn)題作為輸入，回答的段落作為輸出。值得一提的是，問(wèn)答模型要求的神經(jīng)網(wǎng)絡(luò)模型必須能夠理解不同序列集的相關(guān)性和相似性。
處理序列數(shù)據(jù)比較強(qiáng)大的神經(jīng)網(wǎng)絡(luò)有遞歸神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、Transformers。遞歸神經(jīng)網(wǎng)絡(luò)(RNN)包括一層內(nèi)的加權(quán)連接(與傳統(tǒng)前饋網(wǎng)絡(luò)相比，連接僅饋送到后續(xù)層)。因?yàn)镽NN包含循環(huán)，所以它們可以在處理新輸入的同時(shí)存儲(chǔ)信息。
這種記憶使它們非常適合處理必須考慮事先輸入的任務(wù)(比如時(shí)間序列數(shù)據(jù))。遞歸神經(jīng)網(wǎng)絡(luò)(RNN)非常適合處理文本、語(yǔ)音、視頻等時(shí)間序列數(shù)據(jù)樣本。注意力在深度學(xué)習(xí)中可以大致理解為對(duì)于某一個(gè)向量關(guān)注的程度如何，這個(gè)向量可能表示的是圖像中的某一局部區(qū)域或是句子中的某個(gè)詞，使用注意力向量來(lái)估計(jì)關(guān)注的部分和其他元素之間的關(guān)系強(qiáng)弱，并將不同部分的值的和用注意力向量加權(quán)得到的結(jié)果作為目標(biāo)的近似值。
雖然注意力有助于解決遠(yuǎn)程依賴中的挑戰(zhàn)，但RNN訓(xùn)練起來(lái)仍然很慢，NLP中的Transformer是全新的框架，旨在解決序列到序列的任務(wù)，同時(shí)輕松處理長(zhǎng)時(shí)依賴。其用全attention的結(jié)構(gòu)代替了lstm，能夠在翻譯任務(wù)上取得了更好的成績(jī)。在科研中也有幾個(gè)有趣的例子，如在蛋白質(zhì)序列上進(jìn)行訓(xùn)練并找到編碼有意義的生物特性的表征、通過(guò)語(yǔ)言建模生成蛋白質(zhì)、在生物醫(yī)學(xué)數(shù)據(jù)中進(jìn)行文本挖掘的bioBERT......
如何減少對(duì)數(shù)據(jù)標(biāo)簽的依賴？
上述提到神經(jīng)網(wǎng)絡(luò)和方法，都比較依賴于數(shù)據(jù)的標(biāo)簽，下面將討論如何減少對(duì)標(biāo)簽的依賴，具體內(nèi)容包括：遷移學(xué)習(xí)、領(lǐng)域自適應(yīng)、多任務(wù)學(xué)習(xí)、弱監(jiān)督。遷移學(xué)習(xí)（Transfer Learning）是一種機(jī)器學(xué)習(xí)方法，是把一個(gè)領(lǐng)域（即源領(lǐng)域）的知識(shí)，遷移到另外一個(gè)領(lǐng)域（即目標(biāo)領(lǐng)域），使得目標(biāo)領(lǐng)域能夠取得更好的學(xué)習(xí)效果。
通常，源領(lǐng)域數(shù)據(jù)量充足，而目標(biāo)領(lǐng)域數(shù)據(jù)量較小，這種場(chǎng)景就很適合做遷移學(xué)習(xí)，例如我們我們要對(duì)一個(gè)任務(wù)進(jìn)行分類，但是此任務(wù)中數(shù)據(jù)不充足（目標(biāo)域），然而卻又大量的相關(guān)的訓(xùn)練數(shù)據(jù)（源域），但是此訓(xùn)練數(shù)據(jù)與所需進(jìn)行的分類任務(wù)中的測(cè)試數(shù)據(jù)特征分布不同（例如語(yǔ)音情感識(shí)別中，一種語(yǔ)言的語(yǔ)音數(shù)據(jù)充足，然而所需進(jìn)行分類任務(wù)的情感數(shù)據(jù)卻極度缺乏），在這種情況下如果可以采用合適的遷移學(xué)習(xí)方法則可以大大提高樣本不充足任務(wù)的分類識(shí)別結(jié)果。領(lǐng)域自適應(yīng)是遷移學(xué)習(xí)中的一種代表性方法，指的是利用信息豐富的源域樣本來(lái)提升目標(biāo)域模型的性能。
領(lǐng)域自適應(yīng)問(wèn)題中兩個(gè)至關(guān)重要的概念：源域（source domain）表示與測(cè)試樣本不同的領(lǐng)域，但是有豐富的監(jiān)督信息；目標(biāo)域（target domain）表示測(cè)試樣本所在的領(lǐng)域，無(wú)標(biāo)簽或者只有少量標(biāo)簽。源域和目標(biāo)域往往屬于同一類任務(wù)，但是分布不同。
關(guān)于領(lǐng)域自適應(yīng)的一些常見(jiàn)操作和方法，都可以在下面的鏈接中找到
https://towardsdatascience.com/deep-domain-adaptation-in-computer-vision-8da398d3167f
多任務(wù)學(xué)習(xí)的目標(biāo)是利用多個(gè)學(xué)習(xí)任務(wù)中所包含的有用信息來(lái)幫助為每個(gè)任務(wù)學(xué)習(xí)得到更為準(zhǔn)確的學(xué)習(xí)器。與傳統(tǒng)遷移學(xué)習(xí)、領(lǐng)域自適應(yīng)等方法不同，多任務(wù)學(xué)習(xí)是一種并行遷移模式。
在多任務(wù)學(xué)習(xí)中，任務(wù)之間的信息相互共享，知識(shí)在不同的任務(wù)中互相遷移，因此多任務(wù)學(xué)習(xí)也被叫做并行遷移學(xué)習(xí)。多任務(wù)學(xué)習(xí)方法通過(guò)多任務(wù)信息共享提升整體的學(xué)習(xí)效果，這對(duì)于小樣本上的學(xué)習(xí)尤其有效。
更多多任務(wù)學(xué)習(xí)請(qǐng)參見(jiàn)：
https://ruder.io/multi-task/index.html#fn4
弱監(jiān)督通常分為三種類型：不完全監(jiān)督、不確切監(jiān)督、不準(zhǔn)確監(jiān)督。
不完全監(jiān)督，指的是訓(xùn)練數(shù)據(jù)只有部分是帶有標(biāo)簽的，同時(shí)大量數(shù)據(jù)是沒(méi)有被標(biāo)注過(guò)的；不確切監(jiān)督，即訓(xùn)練樣本只有粗粒度的標(biāo)簽；不準(zhǔn)確監(jiān)督，即給定的標(biāo)簽并不總是真值。其中比較著名的一個(gè)工具是Snorkel ，由斯坦福 AI 實(shí)驗(yàn)室創(chuàng)建，在這個(gè)系統(tǒng)中，可以不使用手動(dòng)標(biāo)注的訓(xùn)練數(shù)據(jù)，而是要求用戶編寫(xiě)標(biāo)注函數(shù)即可。關(guān)于弱監(jiān)督與其他領(lǐng)域的聯(lián)系請(qǐng)參見(jiàn)：
https：//hazyresearch.github.io/snorkel/blog/ws_blog_post.html
上面的方法能夠解決大多數(shù)的深度學(xué)習(xí)問(wèn)題，但是偶爾會(huì)求助到更高級(jí)的深度學(xué)習(xí)方法，特別是生成模型和強(qiáng)化學(xué)習(xí)。不過(guò)這些方法通常需要更復(fù)雜的實(shí)現(xiàn)，可能需要問(wèn)題的特定屬性才能有用，例如強(qiáng)化學(xué)習(xí)對(duì)優(yōu)秀環(huán)境模型/模擬器要求比較高。
生成性建模有兩個(gè)基本目標(biāo)。首先，從高維數(shù)據(jù)分布（如自然圖像）中建模并實(shí)現(xiàn)采樣。其次，學(xué)習(xí)數(shù)據(jù)的低維潛在編碼，從而找到關(guān)鍵屬性。
StyleGAN2模型生成的
比較著名的生成模型有對(duì)抗生成模型（GAN）、變分自動(dòng)編碼器、自動(dòng)回歸模型。其中GAN的應(yīng)用比較廣泛，假新聞、假圖片都會(huì)以他為基礎(chǔ)，但是需要注意的是區(qū)分無(wú)條件GAN與條件GAN。前者僅用隨機(jī)噪聲矢量作為輸入來(lái)生成數(shù)據(jù)，后者是前者的變體，生成以附加信息為條件。
變分自動(dòng)編碼器和GAN的目標(biāo)是一致的，希望構(gòu)建一個(gè)從隱變量 Z 生成目標(biāo)數(shù)據(jù) X 的模型，但是實(shí)現(xiàn)上有所不同。它本質(zhì)上就是在我們常規(guī)的自編碼器的基礎(chǔ)上，對(duì) encoder 的結(jié)果（在VAE中對(duì)應(yīng)著計(jì)算均值的網(wǎng)絡(luò)）加上了“高斯噪聲”，使得結(jié)果 decoder 能夠?qū)υ肼曈恤敯粜浴?/p>
近年來(lái)也出現(xiàn)了不少基于自回歸思路的深度生成模型如PixelRNN，PixelCNN，NADE，MADE等，但是由于AutoRegressive模型一個(gè)很大的缺點(diǎn)是AR模型需要逐pixel的生成（后面pixel的生成依賴于前面的pixel），這也導(dǎo)致了生成過(guò)程比較慢。
最后，相比于GAN和VAE，基于流的生成模型（也被稱作reversible generative models）得到的關(guān)注比較少，它主要是利用了Normalizing flow（由多個(gè)可逆的變換函數(shù)組成序列，稱為流）來(lái)對(duì)訓(xùn)練數(shù)據(jù)分布進(jìn)行建模。
強(qiáng)化學(xué)習(xí)的常見(jiàn)模型是標(biāo)準(zhǔn)的馬爾可夫決策過(guò)程 。按給定條件，強(qiáng)化學(xué)習(xí)可分為基于模式的強(qiáng)化學(xué)習(xí)（model-based RL）和無(wú)模式強(qiáng)化學(xué)習(xí)（model-free RL），以及主動(dòng)強(qiáng)化學(xué)習(xí)（active RL）和被動(dòng)強(qiáng)化學(xué)習(xí) （passive RL） 。強(qiáng)化學(xué)習(xí)的變體包括逆向強(qiáng)化學(xué)習(xí)、階層強(qiáng)化學(xué)習(xí)和部分可觀測(cè)系統(tǒng)的強(qiáng)化學(xué)習(xí)。求解強(qiáng)化學(xué)習(xí)問(wèn)題所使用的算法可分為策略搜索算法和值函數(shù)（value function）算法兩類。深度學(xué)習(xí) 模型可以在強(qiáng)化學(xué)習(xí)中得到使用，形成 深度強(qiáng)化學(xué)習(xí) 。
強(qiáng)化學(xué)習(xí)模型設(shè)計(jì)需要考慮三方面：一，如何表示狀態(tài)空間和動(dòng)作空間。二，如何選擇建立信號(hào)以及如何通過(guò)學(xué)習(xí)來(lái)修正不同狀態(tài)－動(dòng)作對(duì)的值。三如何根據(jù)這些值來(lái)選擇適合的動(dòng)作。用強(qiáng)化學(xué)習(xí)方法研究未知環(huán)境下的機(jī)器人導(dǎo)航，由于環(huán)境的復(fù)雜性和不確定性，這些問(wèn)題變得更復(fù)雜。
（雷鋒網(wǎng)）（雷鋒網(wǎng)）（雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
