最近，谷歌推出了一種新的方法來(lái)進(jìn)行搜索并決定你看到的結(jié)果。這種方法基于流行的開(kāi)源 transformer BERT，使用語(yǔ)言理解來(lái)獲取搜索背后的含義，而傳統(tǒng)的關(guān)鍵字方法無(wú)法做到這一點(diǎn)。

我們構(gòu)建 NBoost 是為了讓非 Google 用戶也能方便地使用高級(jí)搜索排名模型，在這個(gè)過(guò)程中，我們開(kāi)發(fā)了 TinyBERT，這就是我在本文中要介紹的內(nèi)容。

尤其是對(duì)于更長(zhǎng)的、更具會(huì)話性的查詢，或是在「for」和「to」等介詞對(duì)詞義非常重要的情況下進(jìn)行的搜索，將能夠理解查詢中單詞的上下文。你可以用一種你覺(jué)得很自然的方式去查找。

——Pandu Nayak，谷歌搜索副總裁

使 BERT 更小但更快

BERT 已經(jīng)被證明可以改進(jìn)搜索結(jié)果，但有一個(gè)缺點(diǎn)：運(yùn)行這些查詢理解模型需要大量的算力。當(dāng)在面臨速度很重要并且需要處理數(shù)以百萬(wàn)計(jì)的搜索時(shí)，這一點(diǎn)尤其關(guān)鍵。這一挑戰(zhàn)如此艱巨，以至于谷歌甚至建立了自己的硬件——云 TPU 來(lái)運(yùn)行這些模型。他們用來(lái)在生產(chǎn)中運(yùn)行這些 TPU 的代碼是私有的，所以任何想運(yùn)行它的人就不那么走運(yùn)了。

為了在標(biāo)準(zhǔn)硬件上運(yùn)行這些模型，我們使用知識(shí)蒸餾，即使用一個(gè)較大的教師網(wǎng)絡(luò)來(lái)訓(xùn)練一個(gè)較小的學(xué)生網(wǎng)絡(luò)的過(guò)程，該網(wǎng)絡(luò)保持了準(zhǔn)確性，但使用的層數(shù)較少，因此通常較小，可以變得更小、更快。

圖片來(lái)源：https://nervanasystems.github.io/distiller/knowledge_distillation.html 

TinyBERT 架構(gòu)

我們使用此 repo 中的代碼進(jìn)行知識(shí)蒸餾，并對(duì)其進(jìn)行了修改，以便在 MS-Marco 數(shù)據(jù)集上進(jìn)行訓(xùn)練和評(píng)估。我們最初在 Pythorch 訓(xùn)練了一個(gè)教師網(wǎng)絡(luò)，設(shè)置了 Marco 訓(xùn)練數(shù)據(jù)集。然后我們用它作為老師來(lái)訓(xùn)練一個(gè)只有 4 個(gè)隱藏層的更小的學(xué)生 BERT 網(wǎng)絡(luò)，這個(gè)學(xué)生網(wǎng)絡(luò)不是標(biāo)準(zhǔn)的 12 層。另外，這些層中的每一層的大小只有 312 而不是 768，這使得模型更加輕巧。我們?cè)?BERT 的末尾使用一個(gè)前饋二值分類層來(lái)產(chǎn)生搜索排名的分?jǐn)?shù)。

搜索分?jǐn)?shù)對(duì)（問(wèn)題，答案）或（搜索，搜索結(jié)果），然后根據(jù)這些分?jǐn)?shù)對(duì)結(jié)果進(jìn)行排序

下面是我們使用的 tinyBERT 架構(gòu)的 bert_config.json 示例，與標(biāo)準(zhǔn)的 bert_config 有顯著的區(qū)別。

{
“attention_probs_dropout_prob”: 0.1,
“cell”: {},
“emb_size”: 312,
“hidden_act”: “gelu”,
“hidden_dropout_prob”: 0.1,
“hidden_size”: 312,
“initializer_range”: 0.02,
“intermediate_size”: 1200,
“max_position_embeddings”: 512,
“num_attention_heads”: 12,
“num_hidden_layers”: 4,
“pre_trained”: “”,
“structure”: [],
“type_vocab_size”: 2,
“vocab_size”: 30522
}

模型評(píng)估

[1] MRR 重排前 50 名的結(jié)果來(lái)自 BM25

MS Marco 是現(xiàn)實(shí)世界中最大的公開(kāi)搜索引擎使用數(shù)據(jù)來(lái)源，是評(píng)估搜索和問(wèn)答模型的理想選擇。它顯示了真實(shí)世界的 Bing 結(jié)果和用戶最終點(diǎn)擊的信息。當(dāng) BERT-Base 首次用于 MSMarco 時(shí)，它以 0.05mrr的速度大大超過(guò)了最先進(jìn)的技術(shù)?；?BERT 的解決方案仍然位居榜首。我們的目標(biāo)是找到一種方法，從一個(gè)足夠快的模型來(lái)實(shí)現(xiàn)這一推動(dòng)作用，以便在現(xiàn)實(shí)世界中使用。

開(kāi)始使用 TinyBERT 吧！雖然沒(méi)有 BERT-Base 對(duì)重新評(píng)分有效，但我們的實(shí)驗(yàn)表明，它保留了 BERT-Base 的 MRR 評(píng)分的 90%，同時(shí)使模型快了約 10 倍，小了約 20 倍。然而，基于像 MS Marco 這樣的學(xué)術(shù)基準(zhǔn)的研究結(jié)果往往缺乏現(xiàn)實(shí)世界的概括性，因此應(yīng)該謹(jǐn)慎對(duì)待。

via：https://towardsdatascience.com/tinybert-for-search-10x-faster-and-20x-smaller-than-bert-74cd1b6b5aec

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。