7日 Paper丨2020神經(jīng)架構(gòu)搜索最新綜述；sql生成模型；深度樹結(jié)構(gòu)；聯(lián)合學(xué)習(xí)等

本文作者： AI研習(xí)社

2020-06-12 17:52

導(dǎo)語：AI研習(xí)社論文板塊，專業(yè)的論文推薦和論文合集下載！

7日 Paper丨2020神經(jīng)架構(gòu)搜索最新綜述；sql生成模型；深度樹結(jié)構(gòu)；聯(lián)合學(xué)習(xí)等目錄

一種用于sql生成模型的數(shù)據(jù)匿名化編碼方法

Drain：一種基于固定深度樹結(jié)構(gòu)的在線日志解析方法

可變形核

從草圖中深度生成人臉圖像

聯(lián)合學(xué)習(xí)知識圖譜中可解釋性的規(guī)則進(jìn)行推薦

神經(jīng)體系結(jié)構(gòu)搜索的全面調(diào)查：挑戰(zhàn)與解決方案

一種用于sql生成模型的數(shù)據(jù)匿名化編碼方法

論文名稱：Data-Anonymous Encoding for Text-to-SQL Generation

作者：Zhen Dong1 , Shizhao Sun , Hongzhi Liu , Jian-Guang Lou ,Dongmei Zhang

發(fā)表時(shí)間：2019/11/7

論文鏈接：https://www.aclweb.org/anthology/D19-1543.pdf

推薦原因

1、為了優(yōu)化從文本中生成機(jī)器語言(此處是sql語句)的效率，作者提出了一種基于序列標(biāo)注的兩階段模型對文本進(jìn)行匿名化(anonymous encoding)的預(yù)處理，減少了文本的長度，并且提取了文本的詞與數(shù)據(jù)表之間的語義關(guān)系.為了更高效地進(jìn)行訓(xùn)練，作者采用了數(shù)據(jù)集的一小部分進(jìn)行人工標(biāo)注，以此訓(xùn)練出的模型來初始化最終的模型，對于其他的數(shù)據(jù)，作者僅從sql中抽取出無序的colname, cell等數(shù)據(jù)，并提出了一種基于獎(jiǎng)勵(lì)機(jī)制的隱監(jiān)督(implicit supervision)學(xué)習(xí)方法來進(jìn)行訓(xùn)練。此外，作者還提及了一種基于變分推斷思路的訓(xùn)練方法，意圖將文本匿名化模型與用于生成sql的語義解析模型聯(lián)合訓(xùn)練來提供模型的效率

2 、作者提出的匿名化方法無論從效率還是從準(zhǔn)確度的角度，相比之前的方法都得到了很大的提高

3 、序列標(biāo)注，尤其是與bert相結(jié)合的序列標(biāo)注，是一種直觀且有效的訓(xùn)練模型，需要大量標(biāo)注良好的數(shù)據(jù)是其一大軟肋，作者提出的隱監(jiān)督訓(xùn)練方案的思路很值得一讀

Drain：一種基于固定深度樹結(jié)構(gòu)的在線日志解析方法

論文名稱：Drain: An Online Log Parsing Approach with Fixed Depth Tree

作者：Pinjia He , Jieming Zhu , Zibin Zheng , and Michael R. Lyu

發(fā)表時(shí)間：2017/6/30

論文鏈接：http://www.cse.cuhk.edu.hk/lyu/_media/conference/pjhe_icws17.pdf?id=publications%3Aconference2&cache=cache

推薦原因

1、本文提出了一種高效的樹結(jié)構(gòu)來在線解析日志數(shù)據(jù)，將日志解析工作拆解為5個(gè)步驟，即根據(jù)具體的業(yè)務(wù)場景對日志進(jìn)行簡單的預(yù)處理、根據(jù)日志長度來搜索日志事件、根據(jù)日志第一個(gè)詞來搜索日志事件、根據(jù)句子相似度來搜索日志事件，匹配日志事件或者更新日志事件，與大多數(shù)樹結(jié)構(gòu)的方法一樣，作者也設(shè)計(jì)了一些剪枝的方法

2、作者提出的方法十分直觀，并且靈活，與其說是一種日志分析算法，更多的是一種基于樹結(jié)構(gòu)的日志分析思路，一些其他基于樹結(jié)構(gòu)的日志處理方法亦可以很方便的整合到作者的模型中

7日 Paper丨2020神經(jīng)架構(gòu)搜索最新綜述；sql生成模型；深度樹結(jié)構(gòu)；聯(lián)合學(xué)習(xí)等

可變形核

論文名稱：Deformable Kernels: Adapting Effiective receptive fields for Object Deformation

作者：Hang Gao, Xizhou Zhu, Steve Lin, Jifeng Dai

發(fā)表時(shí)間：2020/2/12

論文鏈接：https://arxiv.org/abs/1910.02940v2

推薦原因

在可變形卷積思想之后，提出可變形核，來適應(yīng)對象形變的感受野。其核心為重新采樣原始內(nèi)核空間來回復(fù)對象的形變能力。

從草圖中深度生成人臉圖像

論文名稱：Deep Generation of Face Images from Sketches

作者：Chen Shu-Yu,Su Wanchao,Gao Lin,Xia Shihong,Fu Hongbo

發(fā)表時(shí)間：2020/6/1

論文鏈接：https://arxiv.org/abs/2006.01047v2

推薦原因

這篇論文被SIGGRAPH 2020接收，考慮的是從草圖中快速生成人臉圖像的問題。</span></p><p>現(xiàn)有的圖像到圖像轉(zhuǎn)換技術(shù)可以實(shí)現(xiàn)這個(gè)功能，但是往往需要專業(yè)的草圖甚至邊緣圖作為輸入。這篇論文提出隱式模擬可信人臉圖像的形狀空間，并在這個(gè)空間中合成人臉圖像，以接近輸入草圖。這篇論文采取的是局部到全局的方法，首先學(xué)習(xí)關(guān)鍵人臉組件的特征嵌入，并將輸入草圖的相應(yīng)部分表示為由人臉組件樣本的特征向量定義的底層分量。由于將輸入的草圖作為軟約束，即使從粗糙或不完整的草圖中也能生成高質(zhì)量的人臉圖像。這篇論文通過定性和定量的評估表明新方法要比現(xiàn)有的技術(shù)具有更強(qiáng)的生成能力和可用性。

目前這篇論文給出了項(xiàng)目主頁的鏈接：http://geometrylearning.com/DeepFaceDrawing/，之后也會放出代碼。

7日 Paper丨2020神經(jīng)架構(gòu)搜索最新綜述；sql生成模型；深度樹結(jié)構(gòu)；聯(lián)合學(xué)習(xí)等

聯(lián)合學(xué)習(xí)知識圖譜中可解釋性的規(guī)則進(jìn)行推薦

論文名稱：Jointly Learning Explainable Rules for Recommendation with Knowledge Graph

作者：Weizhi Ma, Min Zhang, Yue Cao, Woojeong, Jin, Chenyang Wang, Yiqun Liu, Shaoping Ma, Xiang Ren

發(fā)表時(shí)間：2019/3/9

論文鏈接：https://arxiv.org/abs/1903.03714v1

推薦原因

作者定義了這樣一個(gè)問題，給定用戶、物品、用戶-物品交互信息、物品之間的聯(lián)系信息、以及知識庫，同時(shí)學(xué)習(xí)物品之間聯(lián)系的規(guī)則與如何向用戶推薦物品。以此問題為框架，作者利用亞馬遜公開的用戶購買行為數(shù)據(jù)作為推薦系統(tǒng)數(shù)據(jù)集，將FreeBase作為知識庫，以幾種當(dāng)時(shí)非常優(yōu)秀的推薦系統(tǒng)模型作為基準(zhǔn)，分別進(jìn)行了規(guī)則抽取、物品推薦、和聯(lián)合學(xué)習(xí)等多種不同條件下的實(shí)驗(yàn)，不僅大幅度提升了推薦系統(tǒng)的表現(xiàn)分?jǐn)?shù)，并且從可解釋性的角度分析了分?jǐn)?shù)較高的規(guī)則對于物品推薦的作用

作者將知識圖譜中的規(guī)則引入到推薦系統(tǒng)中時(shí)，不僅考慮了引入物品本身的語義信息，并且將規(guī)則與推薦系統(tǒng)聯(lián)合學(xué)習(xí)，來進(jìn)一步得到規(guī)則與目標(biāo)關(guān)聯(lián)性更強(qiáng)的交互信息，從結(jié)果上來看，這種思路是有效的。

神經(jīng)體系結(jié)構(gòu)搜索的全面調(diào)查：挑戰(zhàn)與解決方案

論文名稱：A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions

作者：Pengzhen Ren,Yun Xiao,Xiaojun Chang,Po-Yao Huang,Zhihui Li,Xiaojiang Chen,Xin Wang

發(fā)表時(shí)間：2020/6/1

論文鏈接：https://arxiv.org/abs/2006.02903

推薦原因

2020神經(jīng)架構(gòu)搜索最新綜述

神經(jīng)架構(gòu)搜索Neural Architecture Search (NAS)是深度學(xué)習(xí)研究熱點(diǎn)。NAS旨在通過使用有限的計(jì)算資源，以盡可能少的人工干預(yù)的自動化方式設(shè)計(jì)具有最佳性能的網(wǎng)絡(luò)架構(gòu)。西北大學(xué)等學(xué)者發(fā)布了關(guān)于神經(jīng)架構(gòu)搜索的綜述論文，對NAS進(jìn)行了全面、系統(tǒng)的綜述。

github：https://github.com/pzhren/Awesome-NAS

7日 Paper丨2020神經(jīng)架構(gòu)搜索最新綜述；sql生成模型；深度樹結(jié)構(gòu)；聯(lián)合學(xué)習(xí)等

AI研習(xí)社論文討論微信群，分別有【NLP論文討論群】【CV論文討論群】【強(qiáng)化學(xué)習(xí)討論群】，未來將會更細(xì)分方向和內(nèi)容，群里面可以分享你覺得不錯(cuò)的論文，可以和同學(xué)一起討論論文復(fù)現(xiàn)結(jié)果等細(xì)節(jié)，歡迎大家加入并積極參與活躍！

7日 Paper丨2020神經(jīng)架構(gòu)搜索最新綜述；sql生成模型；深度樹結(jié)構(gòu)；聯(lián)合學(xué)習(xí)等