0
| 本文作者： AI研習(xí)社-譯站 | 2019-03-25 10:21 |
本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：
Introducing TF-Ranking
作者 | Jesus Rodriguez
翻譯 | Lemon_Sophia
校對(duì) | 鄧普斯?杰弗 審核 | 醬番梨 整理 | 立魚王
原文鏈接：
https://towardsdatascience.com/introducing-tf-ranking-f94433c33ff
排序是機(jī)器學(xué)習(xí)場(chǎng)景中最常見的問題之一。從搜索到推薦系統(tǒng)，排名模型是許多主流機(jī)器學(xué)習(xí)體系結(jié)構(gòu)的重要組成部分。在機(jī)器學(xué)習(xí)理論中，排序方法通常使用像learning-to-rank(LTR)或machine learning ranking機(jī)器學(xué)習(xí)排序(LTR)這樣的術(shù)語。盡管具有相關(guān)性，但是在大多數(shù)機(jī)器學(xué)習(xí)框架中，大規(guī)模開發(fā)LTR模型仍然是一個(gè)挑戰(zhàn)。最近，來自谷歌的人工智能(AI)工程師引入了TF-Ranking，這是一個(gè)基于TensorFlow的框架，用于構(gòu)建高度可伸縮的LTR模型。幾周前發(fā)表的一篇研究論文詳細(xì)闡述了TF-Ranking背后的原則。
從概念上講，排序問題定義為對(duì)一組樣本（或示例）進(jìn)行排序的派生，這些示例可以最大化整個(gè)列表的效用。這個(gè)定義聽起來類似于分類和回歸問題，但排序問題從根本上是不同的。分類或回歸的目標(biāo)是盡可能準(zhǔn)確地預(yù)測(cè)每個(gè)示例的標(biāo)簽或值，而排序的目標(biāo)是對(duì)整個(gè)示例列表進(jìn)行優(yōu)化排序，以便最先顯示相關(guān)度最高的示例。為了推斷相關(guān)性，LTR方法嘗試學(xué)習(xí)一個(gè)評(píng)分函數(shù)（valued scores），該函數(shù)將示例特征向量映射到標(biāo)記數(shù)據(jù)的實(shí)值評(píng)分（real-valued scores）。
這種簡(jiǎn)單的體系結(jié)構(gòu)已經(jīng)成為大多數(shù)排名算法以及RankLib或LightGBM等庫的基礎(chǔ)。雖然這些庫提供了有效的排序方法，但它們是針對(duì)小型數(shù)據(jù)集實(shí)現(xiàn)的，這使得它們?cè)谝蕾囉诖罅坑?xùn)練數(shù)據(jù)的實(shí)際場(chǎng)景中不切實(shí)際 。除此之外，現(xiàn)有的LTR庫還沒有為在深度學(xué)習(xí)場(chǎng)景中常見的稀疏和多維數(shù)據(jù)集而設(shè)計(jì)。
現(xiàn)有LTR stacks（LTR棧）的局限性使得LTR方法在深度學(xué)習(xí)場(chǎng)景中的實(shí)現(xiàn)越來越復(fù)雜。由于缺乏對(duì)主流深度學(xué)習(xí)框架(如TensorFlow、MxNet、PyTorch或Caffe2)中的排名模型的支持，這個(gè)問題變得愈加嚴(yán)峻。
TF-Ranking是一個(gè)基于tensorflow的框架，它支持在深度學(xué)習(xí)場(chǎng)景中實(shí)現(xiàn)TLR方法。該框架包括實(shí)現(xiàn)流行的TLR技術(shù)，如成對(duì)pairwise或列表listwise損失函數(shù)、多項(xiàng)目評(píng)分、排名指標(biāo)優(yōu)化和無偏學(xué)習(xí)排名。
TF-Ranking的實(shí)現(xiàn)非常復(fù)雜，但使用起來也非常簡(jiǎn)單。該實(shí)現(xiàn)的核心組件是一個(gè)model_fn函數(shù)，它接受特征和標(biāo)簽作為輸入，并根據(jù)模式(TRAIN、EVAL、PREDICT)返回?fù)p失、預(yù)測(cè)、度量指標(biāo)和訓(xùn)練操作。使用TF-Ranking構(gòu)建model_fn函數(shù)是基于兩個(gè)基本組件的組合: 評(píng)分函數(shù)（scoring function）和排名頭（ranking head）。
Scoring Function評(píng)分函數(shù)： TF-Ranking支持單項(xiàng)和多項(xiàng)評(píng)分功能。單項(xiàng)評(píng)分函數(shù)可以用函數(shù)F(X) = [F(x1);f (x2);:::;f(xn)]，其中輸入表示單個(gè)示例的特征，并計(jì)算一個(gè)分?jǐn)?shù)作為輸出。多項(xiàng)目評(píng)分函數(shù)擴(kuò)展了一組示例的這種結(jié)構(gòu)。TF-Ranking將每個(gè)示例列表分割成若干張量，張量的形狀為[batch_size, group_size, feature_size]。從上面的代碼示例中可以看到，評(píng)分函數(shù)是一個(gè)用戶指定的閉包，它傳遞給了這個(gè)排名model_fn構(gòu)建器。
Ranking Head排名頭： TF-Ranking使用一個(gè)針對(duì)特定指標(biāo)的排名頭和排名邏輯的損失。從概念上講，排名頭結(jié)構(gòu)計(jì)算排名指標(biāo)和排名損失，給出分?jǐn)?shù)、標(biāo)簽和可選的示例權(quán)重。通過編程的方式，排名頭通過工廠方法tf .head.create_ranking_head公開。
從編程的角度來看，TF-Ranking實(shí)現(xiàn)了TensorFlow Estimator接口，該接口抽象了機(jī)器學(xué)習(xí)應(yīng)用程序生命周期的不同方面，比如訓(xùn)練、評(píng)估、預(yù)測(cè)和模型服務(wù)。使用TF-Ranking的經(jīng)驗(yàn)如下面的代碼所示。
除了編程簡(jiǎn)單之外，TF-Ranking還集成了TensorFlow生態(tài)系統(tǒng)的其他部分。使用TF-Rankign開發(fā)的模型可以使用TensorBoard工具集進(jìn)行可視化評(píng)估，如下圖所示。
谷歌在兩個(gè)關(guān)鍵任務(wù)場(chǎng)景中評(píng)估了 TF-Ranking: 對(duì)存儲(chǔ)在谷歌驅(qū)動(dòng)器中的文檔進(jìn)行Gmail搜索和推薦。在Gmail搜索場(chǎng)景中，使用TF-Ranking對(duì)匹配特定用戶查詢的五個(gè)結(jié)果進(jìn)行排序。用戶點(diǎn)擊等指標(biāo)被用作排名的相關(guān)標(biāo)簽。不同排序模型的結(jié)果如下矩陣所示。
在谷歌驅(qū)動(dòng)器場(chǎng)景中，TF-Ranking用于實(shí)現(xiàn)一個(gè)推薦引擎，該引擎在用戶訪問驅(qū)動(dòng)器主屏?xí)r顯示當(dāng)前相關(guān)的文檔。與Gmail場(chǎng)景類似，推薦系統(tǒng)會(huì)考慮用戶點(diǎn)擊量來重新評(píng)估排名模型。結(jié)果如下矩陣所示。
TF-Ranking是對(duì)TensorFlow堆棧的一個(gè)很好的補(bǔ)充。不同于它的前身。TF-Ranking針對(duì)需要大型數(shù)據(jù)集的模型進(jìn)行了優(yōu)化，并基于TensorFlow估計(jì)器提供了非常簡(jiǎn)單的開發(fā)人員體驗(yàn)。包含示例和教程的TF-Ranking代碼可以在GitHub上找到。
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？
點(diǎn)擊【簡(jiǎn)單介紹 TF-Ranking】或長按下方地址：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
https://ai.yanxishe.com/page/TextTranslation/1342
AI入門、大數(shù)據(jù)、機(jī)器學(xué)習(xí)免費(fèi)教程
35本世界頂級(jí)原本教程限時(shí)開放，這類書單由知名數(shù)據(jù)科學(xué)網(wǎng)站 KDnuggets 的副主編，同時(shí)也是資深的數(shù)據(jù)科學(xué)家、深度學(xué)習(xí)技術(shù)愛好者的Matthew Mayo推薦，他在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域具有豐富的科研和從業(yè)經(jīng)驗(yàn)。
點(diǎn)擊鏈接即可獲?。?a target="_blank" rel=nofollow>https://ai.yanxishe.com/page/resourceDetail/417
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
