0
| 本文作者： MrBear | 2020-02-03 10:00 |
對(duì)于自然語言處理領(lǐng)域來說，2019 年可謂是令人驚嘆的一年！
日前，NLP 專家 Elvis 盤點(diǎn)了 2019 年 NLP 和 ML 領(lǐng)域發(fā)生的大事件，涵蓋具有價(jià)值的論文、文章、工程工作、年度報(bào)告等等，并為大家呈上了值得關(guān)注和學(xué)習(xí)的一波課程和圖書資源。
針對(duì)所有的大事件，Elvis 還事無巨細(xì)地為大家一一附上了相關(guān)鏈接，誠意滿滿！
為了給大家提供一個(gè)較好的閱讀體驗(yàn)，本文只附上了其中的部分鏈接，感興趣的同學(xué)可以前往原文，找到相應(yīng)的鏈接地址：
https://medium.com/dair-ai/nlp-year-in-review-2019-fb8d523bcb19
本文 PDF 地址：https://github.com/omarsar/nlp_highlight
2019 年，谷歌人工智能部門針對(duì)語境化語言表征的自監(jiān)督學(xué)習(xí)任務(wù)，發(fā)布了輕量級(jí)的 BERT 模型——ALBERT（論文：《ALBERT: A Lite BERT for Self-supervised Learning of Language Representations》）。該模型主要的改進(jìn)之處在于減少冗余，并且更高效地分配模型的容量。該方法在12個(gè)自然語言處理任務(wù)上，都實(shí)現(xiàn)了最先進(jìn)的性能。
2019 年初，英偉達(dá)的研究人員發(fā)表了一篇著名的論文「StyleGAN」，它基于風(fēng)格遷移方法，提出了一種可選的 GAN 生成架構(gòu)。接著，他們?cè)谡撐摹禔nalyzing and Improving the Image Quality of StyleGAN》中對(duì) StyleGAN 進(jìn)行了改進(jìn)，重新設(shè)計(jì)了生成器的歸一化過程。
圖 1：上一行為目標(biāo)圖像，下一行為合成圖像
Code2Seq 是于 2019 年發(fā)表的一項(xiàng)非常有趣的工作，它是一種根據(jù)結(jié)構(gòu)化的代碼表征生成自然語言序列的方法。Code2Seq 可以實(shí)現(xiàn)諸如自動(dòng)化代碼摘要和文檔生成。
不知各位有沒有想過為生物醫(yī)學(xué)文本挖掘任務(wù)訓(xùn)練一個(gè)生物醫(yī)學(xué)語言模型？2019 年，研究人員提出了一種從生物醫(yī)學(xué)文獻(xiàn)中提取出重要信息的語境化方法—— BioBERT。
在 BERT 發(fā)布之后，F(xiàn)acebook 的研究人員也隨即發(fā)布了 RoBERTa，它引入了新的優(yōu)化方法來改進(jìn) BERT，并在各種自然語言處理的對(duì)比基準(zhǔn)上取得了最先進(jìn)的實(shí)驗(yàn)結(jié)果。
Facebook 人工智能院的研究人員近期還發(fā)布了一種基于全注意力層的方法（《Augmenting Self-attention with Persistent Memory》），從而提升 Transformer 語言模型的效率。該研究組還提出了一種使用自然語言教人工智能系統(tǒng)如何做計(jì)劃的方法（《Hierarchical Decision Making by Generating and Following Natural Language Instructions》）。
圖 2：全注意力層示意圖
可解釋性仍然是機(jī)器學(xué)習(xí)和自然語言處理領(lǐng)域的一個(gè)重要課題。論文《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》給出了有關(guān)可解釋性、分類標(biāo)準(zhǔn)、未來可能的研究方向的綜述。
Sebastian Ruder 在發(fā)表的論文《Neural Transfer Learning for Natural Language Processing》中，提出了自然語言處理神經(jīng)遷移學(xué)習(xí)。
一些研究人員研發(fā)出了一種在對(duì)話語境中進(jìn)行情感識(shí)別的方法《Emotion Recognition in Conversations with Transfer Learning from Generative Conversation Modeling》，它可以實(shí)現(xiàn)情感對(duì)話生成。另一個(gè)相關(guān)的工作《DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation》，用到了一種叫做「DialogueGCN」的圖神經(jīng)網(wǎng)絡(luò)方法來檢測(cè)對(duì)話中的情感。
谷歌人工智能量子計(jì)算團(tuán)隊(duì)在「Nature」雜志上發(fā)表了一篇論文《Quantum supremacy using a programmable superconducting processor》，他們聲稱已經(jīng)研發(fā)出了一種比世界上最大的超級(jí)計(jì)算機(jī)還要快的量子計(jì)算機(jī)。
如上所述，可解釋性是神經(jīng)網(wǎng)絡(luò)架構(gòu)領(lǐng)域需要進(jìn)行大量改進(jìn)的領(lǐng)域之一。論文《Attention is not not Explanation》討論了在語言建模中，將注意力機(jī)制作為可解釋性的一種可靠的手段的局限性。
《Neural Logic Machines》這項(xiàng)工作提出了一種「神經(jīng)-符號(hào)」網(wǎng)絡(luò)架構(gòu)，可以在歸納學(xué)習(xí)和邏輯推理方面取得很好的性能。該模型在數(shù)組排序和尋找最短路徑任務(wù)中表現(xiàn)出色。
圖 3：神經(jīng)邏輯機(jī)的架構(gòu)
論文《On Extractive and Abstractive Neural Document Summarization with Transformer Language Models》將 Transformer 語言模型應(yīng)用到了提取和抽象出神經(jīng)文檔摘要的任務(wù)中。
論文《Building Machine Learning Models via Comparisons》中，研究者們還研發(fā)出了一種方法，重點(diǎn)研究通過比較的方法構(gòu)建并訓(xùn)練機(jī)器學(xué)習(xí)模型。這項(xiàng)技術(shù)不需要大量的「特征-標(biāo)簽」數(shù)據(jù)對(duì)，而是將圖像與模型之前看到過的圖像進(jìn)行比較，以確定圖像是否應(yīng)該被賦予某種標(biāo)簽。
Nelson Liu 及其研究伙伴發(fā)表了論文《Linguistic Knowledge and Transferability of Contextual Representations》，討論了通過預(yù)訓(xùn)練的語境模型（如 BERT 和 ELMo）獲取的語言知識(shí)類型。
XLNet 是一種用于自然語言處理任務(wù)的預(yù)訓(xùn)練方法，它在 20 種任務(wù)上相較于 BERT 有了進(jìn)一步的提升。關(guān)于這份卓越的工作的總結(jié)，請(qǐng)參閱： https://medium.com/dair-ai/xlnet-outperforms-bert-on-several-nlp-tasks-9ec867bb563b。
DeepMind 的論文《Learning and Evaluating General Linguistic Intelligence》報(bào)告了一項(xiàng)廣泛的實(shí)證研究的結(jié)果，旨在評(píng)估應(yīng)用于各項(xiàng)任務(wù)的語言理解模型。這項(xiàng)廣泛的分析對(duì)于更好地理解語言模型獲取的內(nèi)容非常重要，從而提高它們的效率。
VisualBERT是一種簡(jiǎn)單而魯棒的框架，用于為「視覺-語言」任務(wù)（包括 VQA 和 Flickr30K 等）建模。該方法利用了堆疊的 Transformer 層以及注意力機(jī)制，來對(duì)齊文本片段中的元素和圖像的區(qū)域。
《To Tune or Not to Tune? Adapting Pretrained Representations to Diverse Tasks》通過詳細(xì)的分析對(duì)比了各種自然語言處理中的遷移學(xué)習(xí)方法，并給出了對(duì)自然語言處理從業(yè)人員的建議。
Alex Wang 和 Kyunghyun 在《BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model》提出了一種能夠生成高質(zhì)量、流暢的語言的 BERT 實(shí)現(xiàn)。
Facebook 的研究人員發(fā)布了「XLM」的 PyTorch 實(shí)現(xiàn)代碼（https://github.com/facebookresearch/XLM），這是一種用于跨語言模型預(yù)訓(xùn)練的模型。
《RL in NMT: The Good, the Bad and the Ugly》對(duì)用于神經(jīng)機(jī)器翻譯的強(qiáng)化學(xué)習(xí)算法進(jìn)行了全面的分析。
在 JAIR 上發(fā)表的綜述論文《A Survey of Cross-lingual Word Embedding Models》中，對(duì)跨語言詞嵌入模型的訓(xùn)練、評(píng)估和使用進(jìn)行了全面的概述。
Gradient 平臺(tái)發(fā)表了一篇優(yōu)秀的博文「The Promise of Hierarchical Reinforcement Learning」，詳細(xì)說明了目前強(qiáng)化學(xué)習(xí)的局限性，也給出了一條通過分層強(qiáng)化學(xué)習(xí)解決這些問題的潛在出路。
很快，一些人也發(fā)布了一系列優(yōu)秀的強(qiáng)化學(xué)習(xí)入門教程（https://github.com/araffin/rl-tutorial-jnrr19/blob/master/1_getting_started.ipynb）。
論文《Contextual Word Representations: A Contextual Introduction》簡(jiǎn)要介紹了語境化詞表征方法。
機(jī)器學(xué)習(xí)技術(shù)已經(jīng)被廣泛用于解決現(xiàn)實(shí)世界中的問題，但另一方面，人們也通過一些有趣和富有創(chuàng)意的方式使用機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)創(chuàng)意和人工智能領(lǐng)域中其它類型的研究同樣重要，因?yàn)闅w根到底，我們希望的是構(gòu)建能夠幫助我們塑造文化和社會(huì)的人工智能系統(tǒng)。
2019 年底，Gary Marcus 和 Yoshua Bengio 針對(duì)深度學(xué)習(xí)、符號(hào)人工智能和混合人工智能系統(tǒng)進(jìn)行了激烈的辯論。
《2019 人工智能索引報(bào)告》最終發(fā)布了，它全面分析了人工智能的現(xiàn)狀，可以讓讀者更好地了解人工智能領(lǐng)域的總體進(jìn)展。
常識(shí)推理仍然是一個(gè)重要的研究領(lǐng)域，因?yàn)槲覀兿胍獦?gòu)建的人工智能系統(tǒng)，不僅僅要能夠根據(jù)擁有的數(shù)據(jù)進(jìn)行預(yù)測(cè)，還要能夠理解并對(duì)這些決定進(jìn)行推理。這種技術(shù)可以被用于人工智能對(duì)話系統(tǒng)，旨在使智能體可以與人類進(jìn)行更加自然的對(duì)話。Nasrin Mostafazadeh 在一篇《The Art Of AI Storytelling: How One 30 Under 30 Scientist Is Teaching Devices To Make Assumptions》采訪文中，針對(duì)嘗試推理及其應(yīng)用展開了討論，其應(yīng)用涉及故事描述和語言理解。
你還可以參閱論文《Explain Yourself! Leveraging Language Models for Commonsense Reasoning》，看看如何利用語言模型進(jìn)行常識(shí)推理。
激活地圖集是由谷歌和 Open AI 的研究人員開發(fā)的一項(xiàng)技術(shù)，旨在更好地理解并可視化神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間發(fā)生的交互。
圖 4：Inception V1 分類網(wǎng)絡(luò)的激活地圖集顯示出了許多完全被實(shí)現(xiàn)了的特征（例如，電子產(chǎn)品、建筑物、食物、動(dòng)物耳朵、植物和水的背景）
此外，2019 年圖靈獎(jiǎng)獲得者 Geoffery Hinton 和 Yann LeCun 發(fā)表的獲獎(jiǎng)演講（地址：https://fcrc.acm.org/turing-lecture-at-fcrc-2019）也值得一讀，分享圖靈獎(jiǎng)這一殊榮的還有 Yoshua Bengio。
論文《Tackling Climate Change with Machine Learning》討論了利用機(jī)器學(xué)習(xí)處理氣候變化問題。
OpenAI 發(fā)表了一份內(nèi)容豐富的報(bào)告《Release Strategies and the Social Impacts of Language Models》，討論語言模型對(duì)社會(huì)的影響，包括有益的使用和潛在的技術(shù)濫用現(xiàn)象等主題。
情感分析技術(shù)仍然被廣為使用。Mojifier 是一個(gè)很酷炫的項(xiàng)目，它可以通過觀察一幅圖像檢測(cè)到其中的情感，并使用與檢測(cè)到的情感相匹配的表情替換人臉。
使用人工智能技術(shù)開展影像學(xué)研究也是 2019 年的一大趨勢(shì)。論文《Radiological images and machine learning: trends, perspectives, and prospects》很好地總結(jié)了這一研究領(lǐng)域的發(fā)展趨勢(shì)和前景。
紐約大學(xué)的研究人員還發(fā)布了一個(gè) PyTorch 實(shí)現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)，用于提升影像學(xué)專家在乳腺癌篩查中的工作表現(xiàn)（詳細(xì)可參考：https://medium.com/@jasonphang/deep-neural-networks-improve-radiologists-performance-in-breast-cancer-screening-565eb2bd3c9f）。MIMIC-CXR是一個(gè)重要的數(shù)據(jù)集，它包含胸部 X 光片和影像學(xué)文本報(bào)告的數(shù)據(jù)庫。
紐約時(shí)報(bào)撰寫了一篇關(guān)于 Karen Spark Jones 的文章（https://www.nytimes.com/2019/01/02/obituaries/karen-sparck-jones-overlooked.html），回憶她對(duì)自然語言處理和信息檢索做的開創(chuàng)性貢獻(xiàn)。
Open AI Five 成為第一個(gè)在電子競(jìng)技比賽中擊敗世界冠軍的人工智能系統(tǒng)（https://openai.com/blog/openai-five-defeats-dota-2-world-champions/）。
《全球人工智能人才報(bào)告》給出了世界范圍內(nèi)人工智能人才庫和全球人工智能需求的詳細(xì)報(bào)告。
DeepMind 團(tuán)隊(duì)開設(shè)了一個(gè)非常棒的播客（地址：https://deepmind.com/blog?filters=%7B%22category%22:%5B%22Podcasts%22%5D%7D），訂閱者可以討論最前沿的人工智能話題。
在人工智能的潛力方面，Demis Hassabis 接受了「經(jīng)濟(jì)學(xué)人」的采訪（https://worldin.economist.com/article/17385/edition2020demis-hassabis-predicts-ai-will-supercharge-science?utm_medium=pr&utm_source=inf-a&utm_campaign=worldin），在采訪中他談到了一些具有未來主義的想法，比如利用人工智能擴(kuò)展人類的思維，也許可以為重要的科學(xué)問題尋找解決方案。
2019 年，機(jī)器學(xué)習(xí)在健康領(lǐng)域的應(yīng)用也取得了重大的進(jìn)展。例如，馬薩諸塞州的研究人員研發(fā)出了一種可以像人類一樣準(zhǔn)確地發(fā)現(xiàn)腦出血的人工智能系統(tǒng)（https://venturebeat.com/2019/01/04/massachusetts-generals-ai-can-spot-brain-hemorrhages-as-accurately-as-humans/）。
圖 5：通過人工智能系統(tǒng)分析得到的腦部掃描結(jié)果
Janelle Shane 總結(jié)了一組「奇怪」的實(shí)驗(yàn)，展示了機(jī)器學(xué)習(xí)如何以有創(chuàng)意的方式進(jìn)行有趣的實(shí)驗(yàn)。有時(shí)，這種實(shí)驗(yàn)需要真正理解人工智能系統(tǒng)到底在做什么（和沒有做什么）。其中的一些實(shí)驗(yàn)包括生成「假蛇」圖像和講笑話。
圖 6：蛇的種類
《Earth to exoplanet: Hunting for planets with machine learning》一文嘗試使用 TensorFlow 平臺(tái)上構(gòu)建的機(jī)器學(xué)習(xí)模型尋找行星。
OpenAI 在《Better Language Models and Their Implications》一文中討論了發(fā)布大規(guī)模無監(jiān)督語言模型的影響（包括潛在的惡意用例）。
一篇名叫《Using Nucleus and TensorFlow for DNA Sequencing Error Correction》的 Colab 筆記本針對(duì)如何將 Nucleus 和 TensorFlow 用于「DNA 序列糾錯(cuò)」給出了一個(gè)很棒的間接。關(guān)于使用深度學(xué)習(xí)架構(gòu)進(jìn)行 DNA 探索的更多細(xì)節(jié)，請(qǐng)參閱博文：https://blog.floydhub.com/exploring-dna-with-deep-learning/
圖 7：我們將基于共識(shí)的 DNA 序列糾錯(cuò)任務(wù)形式化定義為一個(gè)多類別分類問題。通過使用 Nucleus，我們構(gòu)建了一個(gè)基因組范圍內(nèi)的歸一化堿基技術(shù)矩陣。TensorFlow 讓我們可以訓(xùn)練能夠訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，來預(yù)測(cè)位于窗口中間位置的正確堿基。
Alexander Rush 是一名哈佛大學(xué)的自然語言處理研究者，他撰寫了一篇關(guān)于張量問題的重要文章《Tensor Considered Harmful》，并指出了現(xiàn)有的庫怎樣暴露出了這些問題。他還提出了關(guān)于張量索引命名的建議。
這部分將重點(diǎn)介紹與軟件和數(shù)據(jù)集相關(guān)的事件，它們對(duì)自然語言處理和機(jī)器學(xué)習(xí)的研究和工程大有助益。
Hugging Face 發(fā)布了一種廣受歡迎的基于 PyTorch 的 Transformer 程序庫「pytorch-transformers」。它讓許多自然語言處理從業(yè)人員和研究者們可以輕松地使用最先進(jìn)的通用框架（例如，BERT、GPT-2 和 XLM 等）。如果你對(duì)如何使用 pytorch-transformers 感興趣，請(qǐng)參閱 Roberto Silveira 的教程（https://rsilveira79.github.io/fermenting_gradients/machine_learning/nlp/pytorch/pytorch-transformer-squad/），該教程介紹了如何使用該庫進(jìn)行機(jī)器理解。
圖 8：Hugging Face 的 pytorch-transformers
2019 年，谷歌發(fā)布了 TensorFlow 2.0，引入了一些新的特性。關(guān)于最佳實(shí)踐的更多信息請(qǐng)參閱：https://medium.com/tensorflow/effective-tensorflow-2-0-best-practices-and-whats-changed-a0ca48767aff。Francois Chollet 也撰寫了一篇關(guān)于這些新特性的詳細(xì)概述：https://colab.research.google.com/drive/1UCJt8EYjlzCs1H1d1X0iDGYJsHKwu-NO。
同時(shí)，新發(fā)布的 PyTorch 1.3 也包含大量的新特性，包括命名張量和其它的前端改進(jìn)。
Allen 人工智能研究院發(fā)布了「Iconary」，這是一個(gè)可以和人類玩猜圖游戲的人工智能系統(tǒng)。這項(xiàng)工作結(jié)合了視覺/語言學(xué)習(xí)系統(tǒng)和常識(shí)推理。同時(shí)，他們還發(fā)表了一種新的常識(shí)推理對(duì)比基準(zhǔn)「Abductive-NLI」。
spaCy 發(fā)布了一個(gè)新的代碼庫，將 Transformer 語言模型合并到 spaCy 中，從而能夠提取特征并在 spaCy NLP 工作流程中使用它們。這項(xiàng)工作是基于 Hugging Face 開發(fā)的 Transformer 庫構(gòu)建的。Maximilien Roberti 也撰寫了一篇關(guān)于如何將 fast.ai 的代碼與 pytorch-transformers 結(jié)合起來的博文《Fastai with Hugging Face Transformers (BERT, RoBERTa, XLNet, XLM, DistilBERT)》。
Facebook 人工智能團(tuán)隊(duì)發(fā)布了「PHYRE」，這是一種用于物理推理的對(duì)比基準(zhǔn)，旨在通過結(jié)局各種物理難題來測(cè)試人工智能系統(tǒng)的物理推理能力。
圖 9：PHYRE-B Tier 示意圖
斯坦福自然語言處理小組發(fā)布了用于自然語言分析的 Python 代碼庫「StanfordNLP 0.2.0」。你可以在超過 70 種不同的語言上進(jìn)行不同類型的語言分析（例如：詞形還原和詞性標(biāo)注識(shí)別）。
GQA 是一個(gè)可視化問答數(shù)據(jù)集，用于支撐與視覺推理相關(guān)的研究。
exBERT 是一種可視化工具，用于探索 Transformer 語言模型的嵌入和注意力機(jī)制，原論文為《exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformers Models》。
圖 10：exBERT 工作示意圖
Distill 平臺(tái)上發(fā)表了一篇關(guān)于如何在循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中可視化記憶內(nèi)容的論文《Visualizing memorization in RNNs》。
Mathpix 工具可以讓你拍攝一個(gè)公式的照片，然后自動(dòng)幫你升恒該公式的 Latex 代碼。
圖 11：Mathpix 工作示意圖
Parl.ai 平臺(tái)可以為涉及人工智能對(duì)話系統(tǒng)的工作托管許多流行的數(shù)據(jù)集。
Uber 的研究人員發(fā)布了開源工具 Ludwig，它使用戶可以很方便地僅僅使用幾行代碼就可以訓(xùn)練并測(cè)試深度學(xué)習(xí)模型，旨在在訓(xùn)練和測(cè)試模型的過程中避免任何的編碼工作。
谷歌的人工智能研究人員發(fā)布了「Natural Questions」，這是一個(gè)用于訓(xùn)練并評(píng)估開放領(lǐng)域問答系統(tǒng)的大規(guī)模語料庫。
2019 年，數(shù)據(jù)科學(xué)作家和愛好者的數(shù)量激增。這對(duì)于我們的研究領(lǐng)域是非常有益的，也鼓舞了研究社區(qū)進(jìn)行健康的討論和學(xué)習(xí)。
這里列舉了一些有趣的必看論文和博文：
Christian Perone 對(duì)最大似然估計(jì)（MLE）和最大后驗(yàn)估計(jì)（MAP）進(jìn)行了介紹，這是理解模型參數(shù)估計(jì)的重要原則。
Reiichiro Nakano 發(fā)表了博文《Neural Style Transfer with Adversarially Robust Classifiers》，討論了具有對(duì)抗性魯棒分類器的神經(jīng)風(fēng)格遷移。
Saif M. Mohammad 撰寫了一系列文章（閱讀地址：https://medium.com/@nlpscholar/state-of-nlp-cbf768492f90）討論 ACL 論文接收情況的歷時(shí)分析。
圖 12：上圖分別顯示了進(jìn)行學(xué)術(shù)研究時(shí)間的平均數(shù)、中位數(shù)，以及首次發(fā)表論文的人數(shù)占總?cè)藬?shù)的比例。
有一個(gè)值得思考的問題是：語言模型能學(xué)會(huì)語法嗎？《Finding Syntax with Structural Probes》使用結(jié)構(gòu)化探測(cè)技術(shù)，旨在說明使用上下文語境表征和查找樹結(jié)構(gòu)的方法實(shí)現(xiàn)這一目標(biāo)是可能的。
Andrej Karpathy 撰寫了一篇博文《A Recipe for Training Neural Networks》總結(jié)了如何高效訓(xùn)練神經(jīng)網(wǎng)絡(luò)的最佳實(shí)踐和方法。
谷歌人工智能部門的研究人員和其它研究人員合作，使用 BERT 模型來改進(jìn)對(duì)搜索的理解，像 BERT 這種語境化的方法可以理解搜索查詢背后的意圖。
Rectified Adam（RAdam）是一種基于 Adam 優(yōu)化器的新型優(yōu)化技術(shù)，有助于改進(jìn)人工智能架構(gòu)。研究者們?cè)谔岢龈?、更穩(wěn)定的優(yōu)化器的方面做出了一些工作，但是作者們聲稱他們關(guān)注的是優(yōu)化的其它方面，它們對(duì)于提升收斂性同樣重要。
隨著近幾年來機(jī)器學(xué)習(xí)工具的大幅發(fā)展，對(duì)于如何實(shí)現(xiàn)能夠解決實(shí)際問題的機(jī)器學(xué)習(xí)系統(tǒng)的討論也越來越多。Chip Huyen 撰寫了《Machine Learning System Design》，重點(diǎn)強(qiáng)調(diào)了超參數(shù)調(diào)優(yōu)和數(shù)據(jù)流水線等課題。
英偉達(dá)打破了創(chuàng)建最大的語言模型的記錄，該模型訓(xùn)練了數(shù)十億的參數(shù)。
Abigail See 撰寫了博文《What makes a good conversation?》，討論了如何在為執(zhí)行自然語言生成任務(wù)開發(fā)的系統(tǒng)環(huán)境下實(shí)現(xiàn)良好的人機(jī)對(duì)話。
谷歌人工智能團(tuán)隊(duì)發(fā)表了兩個(gè)自然語言對(duì)話數(shù)據(jù)集，旨在使用更復(fù)雜、更自然的對(duì)話數(shù)據(jù)集提升數(shù)字助理等對(duì)話應(yīng)用程序的個(gè)性化程度。
深度強(qiáng)化學(xué)習(xí)仍然是人工智能領(lǐng)域中最廣為討論的話題之一，它甚至吸引了心理學(xué)和神經(jīng)科學(xué)領(lǐng)域的興趣。在「Trends in Cognitive Sciences」上發(fā)表的論文《Reinforcement Learning, Fast and Slow》中，介紹了一些該領(lǐng)域的重要概念。
Samira Abner 撰寫了博文《From Attention in Transformers to Dynamic Routing in Capsule Nets》，總結(jié)了 Transformer 和 capsule 網(wǎng)絡(luò)背后的主要組成部分及其聯(lián)系。Adam Kosiorek 還針對(duì)堆疊化的基于 capsule 的自編碼器（一種無監(jiān)督版本的 capsule 網(wǎng)絡(luò)）撰寫了文章「Stacked Capsule Autoencoders》，并將其用于目標(biāo)檢測(cè)任務(wù)。
圖 13：兩個(gè)相鄰的 capsule 層之間的連接，其中較低層有 3 類 capsule，較高層有 2 類 capsule。
研究人員在 Distill 平臺(tái)上發(fā)表了一篇互動(dòng)文章「A Visual Exploration of Gaussian Processes》，旨在展示對(duì)高斯過程的可視化探索。
通過在 Distill 平臺(tái)上發(fā)表的《Open Questions about Generative Adversarial Networks》，Augustus Odena 呼吁研究人員解決關(guān)于對(duì)抗生成網(wǎng)絡(luò)（GAN） 的重要開放性問題。
研究人員使用 PyTorch 框架實(shí)現(xiàn)了用于區(qū)分出垃圾郵件制造者的圖卷積網(wǎng)絡(luò)（GCN）。
2019 年初，VentureBeat 發(fā)布了一份由 Rumman Chowdury、Hilary Mason、Andrew Ng 以及 Yan LeCun 提出的 2019 年預(yù)測(cè)列表（https://venturebeat.com/2019/01/02/ai-predictions-for-2019-from-yann-lecun-hilary-mason-andrew-ng-and-rumman-chowdhury/）?，F(xiàn)在，大家可以看看他們的預(yù)測(cè)是否正確。
《Multi-label Text Classification using BERT- The Mighty Transformer》提出的模型學(xué)著如何調(diào)整 BERT 以執(zhí)行多標(biāo)簽文本分類任務(wù)。
由于 BERT 的盛行，在過去的幾個(gè)月中，許多研究人員開發(fā)了對(duì)BERT 進(jìn)行「壓縮」的方法，旨在建立更快、更小、內(nèi)存效率更高的版本。Mitchell A.Gordon 撰寫了《All The Ways You Can Compress BERT》一文，總結(jié)了壓縮的類型和圍繞這一目標(biāo)開發(fā)的方法。
超級(jí)智能仍然是專家們爭(zhēng)論的重要課題。該課題需要對(duì)框架、政策有正確的理解，并且進(jìn)行仔細(xì)的觀察。K.Eric Drexler 以科技報(bào)告的形式撰寫了一系列有趣的綜合性論文《Reframing Superintelligence Comprehensive AI Services as General Intelligence》，對(duì)于理解圍繞超級(jí)智能主題的一些問題和思考是很有幫助的。
Eric Jang 撰寫了博文《Meta-Learning in 50 Lines of JAX》，介紹了元學(xué)習(xí)的概念，旨在構(gòu)建并訓(xùn)練不僅可以預(yù)測(cè)、也可以學(xué)習(xí)的機(jī)器學(xué)習(xí)模型。
Sebastian Ruder 撰寫了一份 AAAI 2019 亮點(diǎn)工作總結(jié)，閱讀地址：https://ruder.io/aaai-2019-highlights/。
圖神經(jīng)網(wǎng)絡(luò)是 2019 年最火的話題之一。David Mack 撰寫了《Finding shortest paths with Graph Neural Networks》一文，介紹了他們?nèi)绾问褂眠@種技術(shù)和注意力機(jī)制一起計(jì)算最短路徑。
貝葉斯方法仍然是一個(gè)有趣的課題，特別是如何將它們應(yīng)用于神經(jīng)網(wǎng)絡(luò)，從而避免像過擬合這樣的常見問題。Kumar Shridhar 針對(duì)這一話題給出了一個(gè)閱讀材料的推薦列表：https://medium.com/neuralspace/bayesian-neural-network-series-post-1-need-for-bayesian-networks-e209e66b70b2。
圖 14：以點(diǎn)估計(jì)作為權(quán)重的網(wǎng)絡(luò) vs 以概率分布為權(quán)重的網(wǎng)絡(luò)
在 2019 年中，也許道德規(guī)范是人們針對(duì)人工智能系統(tǒng)討論的最多的話題之一，包括偏見、公平性、透明度等問題。關(guān)于這一部分，本文將列舉出一些相關(guān)的有趣故事和論文：
論文《Does mitigating ML’s impact disparity require treatment disparity?》通過在真實(shí)世界數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，討論了應(yīng)用不同學(xué)習(xí)過程得到的結(jié)果。
Hugging Face 發(fā)表了文章《Ethical analysis of the open-sourcing of a state-of-the-art conversational AI》，討論在用于對(duì)話人工智能的開源自然語言處理場(chǎng)景下的道德問題。
隨著我們不斷向社會(huì)引進(jìn)基于人工智能的技術(shù)，能夠量化道德倫理在人工智能研究中的作用是非常重要的。論文《On Quantifying and Understanding the Role of Ethics in AI Research: A Historical Account of Flagship Conferences and Journals》對(duì)量化道德倫理的措施和「與倫理相關(guān)的研究在引領(lǐng)人工智能、機(jī)器學(xué)習(xí)和機(jī)器人領(lǐng)域中的作用」進(jìn)行了深入的分析。
NAACL 2019 上發(fā)表的論文《Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them》討論了去偏方法可以如何消除詞嵌入中的性別偏置。
讀者可以聽一聽 Zachary Lipton 關(guān)于其論文《Troubling Trends in ML Scholarship》的報(bào)告（https://www.youtube.com/watch?v=A2Jtqi_oa2Y]）。我也曾對(duì)這篇有趣的論文進(jìn)行了總結(jié)：《An Overview of Troubling Trends in Machine Learning Scholarship》。
Gary Marcus 和 Ernest Davis 發(fā)表了他們的新書《Rebooting AI: Building Artificial Intelligence We Can Trust》。這本書的主題是討論我們?yōu)榱藢?shí)現(xiàn)魯棒的人工智能必須采取的措施。
關(guān)于人工智能未來的發(fā)展，F(xiàn)rancois Chollet 也撰寫了一篇令人印象深刻的論文《On the Measure of Intelligence》。
Andrew Trask 在優(yōu)達(dá)學(xué)城上開設(shè)了有關(guān)差分隱私保護(hù)、聯(lián)邦學(xué)習(xí)、以及加密人工智能的課程《Secure and Private AI》。關(guān)于隱私這一話題，Emma Bluemke 撰寫了博文《PRIVACY-PRESERVING AI IN MEDICAL IMAGING: FEDERATED LEARNING, DIFFERENTIAL PRIVACY, AND ENCRYPTED COMPUTATION》，討論了如何在保護(hù)患者隱私的同時(shí)訓(xùn)練機(jī)器學(xué)習(xí)模型。
2019 年初，Mariya Yao 的博文《RECENT BREAKTHROUGH RESEARCH PAPERS IN AI ETHICS》中，給出了一份包含人工智能倫理的研究論文清單。雖然這些參考論文的清單是自 2018 年統(tǒng)計(jì)的，但我相信它在今天仍然具有意義。
最后為大家呈上 2019 年新更新的一些 ML/NLP 學(xué)習(xí)資源：
卡內(nèi)基梅隆大學(xué)發(fā)布了他們的《自然語言處理神經(jīng)網(wǎng)絡(luò)》課程的教學(xué)材料和大綱。
Elvis Saravia 和 Soujanya Poria 發(fā)布了一個(gè)名為「NLP-Overview」的項(xiàng)目，旨在為學(xué)生和從業(yè)者提供應(yīng)用于自然語言處理的現(xiàn)代深度學(xué)習(xí)技術(shù)的簡(jiǎn)要概述，包括理論、算法、應(yīng)用和最新成果（相關(guān)地址：https://github.com/omarsar/nlp_overview）。
圖 15：NLP 概述
微軟研究院發(fā)布了一本關(guān)于數(shù)據(jù)科學(xué)基礎(chǔ)的免費(fèi)電子書（https://www.datasciencecentral.com/profiles/blogs/new-book-foundations-of-data-science-from-microsoft-research-lab），主體涵蓋了從馬爾科夫鏈蒙特卡洛方法到隨機(jī)圖的方方面面。
《機(jī)器學(xué)習(xí)的數(shù)學(xué)》是一本免費(fèi)電子書，介紹了機(jī)器學(xué)習(xí)中最重要的數(shù)學(xué)概念。它還包含了一些描述機(jī)器學(xué)習(xí)部件的 Jupyter notebook 教程。
Jean Gallier 和 Jocelyn Quaintance 撰寫了一本內(nèi)容豐富的免費(fèi)電子書《Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Machine Learning》，內(nèi)容涵蓋了機(jī)器學(xué)習(xí)中使用到的數(shù)學(xué)概念。
斯坦福大學(xué)發(fā)布了《自然語言理解》課程的相關(guān)視頻：https://www.youtube.com/playlist?list=PLoROMvodv4rObpMCir6rNNUlFAn56Js20。
OpenAI 整理了一份關(guān)于如何保持并提高機(jī)器學(xué)習(xí)技能的推薦閱讀列表：https://openai.com/blog/learning-day/。顯然，他們的員工每天都在使用這些方法不斷學(xué)習(xí)并擴(kuò)展他們的知識(shí)。
圖 16：OpenAI 的員工在 Learning Day 做些什么？
Adrian Rosebrock 發(fā)布了一本 81 頁的指南（https://www.pyimagesearch.com/start-here/），介紹如何使用 Python 和 OpenCV 完成計(jì)算機(jī)視覺任務(wù)。
Emily m. Bender 和 Alex Lascarides 出版了一本名為《自然語言處理的語言學(xué)基礎(chǔ)》的書。本書的主要思想是以語義和語用為基礎(chǔ)，來探討自然語言處理領(lǐng)域中的「意義」是什么。
Elad Hazan 發(fā)表了名為《機(jī)器學(xué)習(xí)的優(yōu)化》的演講筆記，旨在將機(jī)器學(xué)習(xí)訓(xùn)練呈現(xiàn)為一個(gè)具有優(yōu)美數(shù)學(xué)和符號(hào)的優(yōu)化問題。Deellearning .ai 也發(fā)布了文章《Parameter optimization in neural networks》，討論了使用可視化和互動(dòng)方法進(jìn)行神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化。
Andreas Mueller 發(fā)布了新的《應(yīng)用機(jī)器學(xué)習(xí)》課程視頻列表：https://www.youtube.com/playlist?list=PL_pVmAaAnxIQGzQS2oI3OWEPT-dpmwTfA。
Fast.ai 發(fā)布了名為《Deep Learning from the Foundations》的新慕課。
麻省理工學(xué)院發(fā)布了其課程《Introduction to Deep Learning》的教學(xué)視頻和大綱（https://www.youtube.com/playlist?list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI）。
Chip Huyen 在推特上發(fā)布了一系列優(yōu)質(zhì)的機(jī)器學(xué)習(xí)入門免費(fèi)在線課程：https://twitter.com/chipro/status/1157772112876060672。
Andrew Trask 發(fā)布了他名為《Grokking Deep Learning》的新書。本書是一本理解神經(jīng)網(wǎng)絡(luò)架構(gòu)基本構(gòu)建模塊的入門書。
Sebastian Raschka 上傳了 80 份關(guān)于如何實(shí)現(xiàn)不同的深度學(xué)習(xí)模型（例如，RNN 和 CNN）的筆記（https://github.com/rasbt/deeplearning-models）。最棒的是，這些模型都是使用 PyTorch 和 TensorFlow 框架實(shí)現(xiàn)的。
教程《Understand TensorFlow by mimicking its API from scratch》可以幫助大家深度了解 TensorFlow 的工作機(jī)制。Christian Perone 也為 PyTorch 撰寫了一份教程：http://blog.christianperone.com/2018/03/pytorch-internal-architecture-tour/。
Fast.ai 還發(fā)布了一份名為《Intro to NLP》的課程，主題包括情感分析、主題建模、Transformer 等。
Xavier Bresson 的演講談到了如何使用圖卷積網(wǎng)絡(luò)進(jìn)行分子生成，視頻鏈接：https://ipam.wistia.com/medias/excbyr8gvv。此外，論文《Pre-training Graph Neural Networks》也討論了如何預(yù)訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)。
就圖神經(jīng)網(wǎng)絡(luò)而言，一些工程師使用它們來預(yù)測(cè)分子和晶體的性質(zhì)。谷歌人工智能團(tuán)隊(duì)還發(fā)表了博文《Learning to Smell: Using Deep Learning to Predict the Olfactory Properties of Molecules》，來解釋他們?nèi)绾问褂脠D神經(jīng)網(wǎng)絡(luò)進(jìn)行氣味預(yù)測(cè)。如果讀者對(duì)圖神經(jīng)網(wǎng)絡(luò)感興趣，請(qǐng)參下面這篇關(guān)于不同的圖神經(jīng)網(wǎng)絡(luò)及其應(yīng)用的全面概述：https://arxiv.org/pdf/1812.08434.pdf。
約翰霍普金斯大學(xué)的 Rene Vidal 發(fā)布了一份關(guān)于無監(jiān)督學(xué)習(xí)方法（如 PCA）的視頻播放列表：https://www.youtube.com/playlist?list=PLFInMJnvb3owAddRh4qk2gCX25kGLDay-。
如果你對(duì)于將一個(gè)預(yù)訓(xùn)練好的 TensorFlow 模型轉(zhuǎn)換成 PyTorch 模型感興趣，那么 Thomas Wolf 的這篇博文會(huì)對(duì)你有所幫助：https://medium.com/huggingface/from-tensorflow-to-pytorch-265f40ef2a28。
想了解生成式深度學(xué)習(xí)嗎？David Foster 的新書《Generative Deep Learning》告訴數(shù)據(jù)科學(xué)家們?nèi)绾螌⑸蓪?duì)抗網(wǎng)絡(luò)（GAN）和編碼器-解碼器模型用于執(zhí)行繪畫、協(xié)作、作曲等任務(wù)。本書附帶的官方 TensorFlow 代碼倉庫、PyTorch 版代碼。
下面這份 Colab 筆記本文件包含實(shí)現(xiàn)并學(xué)習(xí)因果推理概念（如干預(yù)、反事實(shí)等）的代碼塊：https://colab.research.google.com/drive/1rjjjA7teiZVHJCMTVD8KlZNu3EjS7Dmu#scrollTo=T9xtzFTJ1Uwf。
Sebastian Ruder，Matthew Peters，Swabha Swayamdipta 和 Thomas Wolf 等人提供的 NAACL 2019 《自然語言處理中的遷移學(xué)習(xí)》教程材料鏈接：https://github.com/huggingface/naacl_transfer_learning_tutorial。他們還給出了一個(gè)用于入門的配套的谷歌 Colab 筆記本文件：https://colab.research.google.com/drive/1iDHCYIrWswIKp-n-pOg69xLoZO09MEgf。
Jay Alammar 發(fā)表了一篇關(guān)于數(shù)據(jù)表征的博文《A Visual Intro to NumPy and Data Representation》。他還撰寫了許多有趣的插圖指南（GPT-2：https://jalammar.github.io/illustrated-gpt2/。BERT：http://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/）。
Peter Bloem 還發(fā)表了一篇非常詳細(xì)的博文《TRANSFORMERS FROM SCRATCH》，解釋了 Transformer 的組成部分。
圖 18：自注意力機(jī)制的示意圖
Mihail Eric 在《Trends in Natural Language Processing: ACL 2019 In Review》中，對(duì) ACL 2019 上體現(xiàn)出來的自然語言處理領(lǐng)域發(fā)展趨勢(shì)進(jìn)行了很好的概述。相關(guān)的主題包括將知識(shí)引入自然語言處理架構(gòu)、可解釋性、減少偏置等等。如果讀者對(duì)此感興趣，請(qǐng)參閱：（1）https://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8（2）http://noecasas.com/post/acl2019/
斯坦福大學(xué)發(fā)布了 CS231n 2019 版的完整教學(xué)大綱：http://cs231n.stanford.edu/syllabus.html
David Abel 發(fā)布了 ICLR 2019 的一系列筆記：https://david-abel.github.io/notes/iclr_2019.pdf。他也給出了一份很棒的 NeurIPS 2019 總結(jié)：https://david-abel.github.io/notes/neurips_2019.pdf。
《動(dòng)手學(xué)深度學(xué)習(xí)》是一本很棒的書，為讀者介紹了深度學(xué)習(xí)的相關(guān)知識(shí)，并附有 notebook 代碼。
圖 19：動(dòng)手學(xué)深度學(xué)習(xí)
關(guān)于 BERT、ELMo、以及自然語言處理遷移學(xué)習(xí)的插圖指南，請(qǐng)參閱：http://jalammar.github.io/illustrated-bert/。
圖 20：自然語言處理中的遷移學(xué)習(xí)
Fast.ai 發(fā)布了2019 版的《程序員使用深度學(xué)習(xí)》課程。
Pieter Abbeel 和其他人一起教授的深度無監(jiān)督學(xué)習(xí)課程鏈接如下：https://sites.google.com/view/berkeley-cs294-158-sp19/home。
Gilbert Strang 發(fā)布了一本關(guān)于線性代數(shù)和神經(jīng)網(wǎng)絡(luò)的新書：http://math.mit.edu/~gs/learningfromdata/'。
加州理工學(xué)院發(fā)布了他們的《機(jī)器學(xué)習(xí)基礎(chǔ)》課程的完整的教學(xué)大綱、課程幻燈片和視頻播放列表：http://tensorlab.cms.caltech.edu/users/anima/cs165.html。
《Scipy Lecture Notes》是一套教你如何掌握「matplotlib」、「Numpy」、「Scipy」等工具的教程。
如果讀者想要理解高斯過程，請(qǐng)參閱教程《Understanding Gaussian processes》及附帶的代碼。
Lilian Wang 在博文《Generalized Language Models》中深入介紹了生成式語言模型（如 ULMFit、OpenAI GPT-2、BERT），這是一篇必讀的文章。
「Paper with Code」網(wǎng)站展示了一些精選的機(jī)器學(xué)習(xí)論文及其代碼，并給出了目前最先進(jìn)的模型的結(jié)果。
Christoph Molnar 發(fā)布了第一版的《Interpretable Machine Learning》，這是一本涉及用于更好地解釋機(jī)器學(xué)習(xí)算法的重要技術(shù)的書。
David Bamman 發(fā)布了加州大學(xué)伯克利分校自然語言處理課程的完整教學(xué)大綱和幻燈片：http://people.ischool.berkeley.edu/~dbamman/nlp18.html。
加州大學(xué)伯克利分校發(fā)布了他們的《應(yīng)用自然語言處理》課程的全部材料：https://github.com/dbamman/anlp19。
Aerin Kim 是微軟的一名高級(jí)研究工程師，他住那些了與應(yīng)用數(shù)學(xué)和深度學(xué)習(xí)相關(guān)的一系列文章：https://towardsdatascience.com/@aerinykim。起主題主要包括條件獨(dú)立、伽馬分布、復(fù)雜度等。
Tai-Danae Bradley 的博文《Matrices as Tensor Network Diagrams》，討論了如何思考矩陣和張量。這篇文章用到了一些酷炫的可視化效果，有助于更好地理解矩陣上執(zhí)行的某些變換和操作。
圖 21：矩陣和張量
2019 已經(jīng)過去，2020 年作為 AI 界 主力軍之二的 ML、NLP 又將迎來哪些具有歷史性的時(shí)刻和值得關(guān)注的工作呢？我們拭目以待吧！
Via https://medium.com/dair-ai/nlp-year-in-review-2019-fb8d523bcb19 雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
