什么是鑒黃師？

在《2019網(wǎng)易易盾內(nèi)容安全智能體系發(fā)布會(huì)》的現(xiàn)場(chǎng)，主講臺(tái)上的大屏幕中展示了這樣一段街拍內(nèi)容——一名主持人正隨機(jī)攔住路人，并向他們逐一詢(xún)問(wèn)上述這一問(wèn)題：

被問(wèn)到的第一位“幸運(yùn)觀眾”是位漂亮的小姐姐，當(dāng)聽(tīng)到這個(gè)問(wèn)題，她噗嗤一聲笑了出來(lái)，上揚(yáng)的嘴角似乎蘊(yùn)含著百般回味。

緊接著，被詢(xún)問(wèn)的是一名清潔工伯伯。聽(tīng)到這個(gè)問(wèn)題，他將半掛在臉上的口罩重新戴上，支支吾吾回了一句：“這個(gè)......是高科技，我只是個(gè)清潔工?！?/p>

第三位受訪者，是位年輕氣盛的小哥。當(dāng)面對(duì)美女主持人的提問(wèn)時(shí)，直接羞紅了臉，卻故作鎮(zhèn)定地問(wèn)道：“除了要看很多......資料，還有啥其他的嗎？原來(lái)網(wǎng)易還有這個(gè)職位的嗎？（恍然大悟）”

屏幕對(duì)面，熙熙攘攘的與會(huì)嘉賓對(duì)話聲中傳出陣陣嬉笑聲。顯然，這街拍內(nèi)容是說(shuō)到心坎里去了......

實(shí)際上，在網(wǎng)易易盾內(nèi)部，鑒黃師這份工作又被稱(chēng)之為內(nèi)容審核專(zhuān)員。然而，從事著這份職業(yè)的人們，似乎并不像我們想象中那樣，每天過(guò)著“快活似神仙”的生活。

其實(shí)，內(nèi)容審核并不像一般人們認(rèn)為的只有鑒黃這一種。更多時(shí)候，他們所面對(duì)的是黃色、暴力、涉恐、等高敏感度的信息，更忍受著長(zhǎng)期精神和身體上的創(chuàng)傷。然而，內(nèi)容審核的漫漫長(zhǎng)征路這才算剛剛開(kāi)始。

借助此次大會(huì)，網(wǎng)易易盾產(chǎn)品總監(jiān)饒曉艷向我們分享了她眼中那些內(nèi)容審核人員的血淚史，并為突破種種人工審核難點(diǎn)推出了全新解決方案——智能內(nèi)容審核管理系統(tǒng)。

其實(shí)，這一系統(tǒng)原本是網(wǎng)易內(nèi)部使用的內(nèi)容審核工具，隨著這次發(fā)布會(huì)的亮相，也意味著該系統(tǒng)將正式對(duì)外開(kāi)放。So，為啥網(wǎng)易易盾要選這個(gè)時(shí)間開(kāi)放自己的內(nèi)容審核管理系統(tǒng)？好不好用、有啥功能......

一塊壓垮人工審核的巨石

人工智能技術(shù)的發(fā)展，為很多行業(yè)帶來(lái)便利。面對(duì)專(zhuān)一性較強(qiáng)的工作，這類(lèi)機(jī)器在準(zhǔn)確度、效率和持久性上完勝人類(lèi)。

然而，它們偏偏拿內(nèi)容審核沒(méi)轍。

以鑒黃師為例，人工智能的鑒定只能將海量視頻/圖片中的疑似黃色內(nèi)容篩選出來(lái)，它可以將審核范圍從無(wú)邊無(wú)際中圈出一個(gè)范圍，但并不能像人一樣理解每張圖片中內(nèi)容的準(zhǔn)確含義。

試想，一張屁股的圖片，如果整張拿給AI去識(shí)別，它準(zhǔn)能認(rèn)出這個(gè)少兒不宜。然而，如果我將圖片切成四份并打亂順序呢？如果是人，你那顆機(jī)智的大腦會(huì)立即還原出這張照片的原貌，而AI不行。

網(wǎng)易易盾CTO朱浩齊稱(chēng)，隨著內(nèi)容產(chǎn)量、形態(tài)的驟增，黑灰產(chǎn)也在不斷學(xué)習(xí)和進(jìn)化。很多時(shí)候他們會(huì)故意放出一些敏感內(nèi)容來(lái)試探我們的AI審核機(jī)制，再在摸清規(guī)律后對(duì)圖片進(jìn)行處理。

他們?cè)噲D將敏感位置做極小面積的覆蓋，或干脆將圖片切割成若干分，并在每張插入一個(gè)小的色情圖片......只要與之前的鑒別邏輯不符，很容易騙過(guò)機(jī)器的眼睛。

解決問(wèn)題的最簡(jiǎn)單辦法，就是上肉眼。

然而，隨著內(nèi)容生產(chǎn)量的驟增、用戶(hù)體驗(yàn)及負(fù)面事件風(fēng)險(xiǎn)提高以及審核標(biāo)準(zhǔn)嚴(yán)苛細(xì)化，各種各樣非標(biāo)準(zhǔn)化審核管理系統(tǒng)猶如一塊巨石壓得審核工作者喘不過(guò)氣。

一方面，在國(guó)內(nèi)，主流的社交媒體平臺(tái)的審核人員都達(dá)到上千人以上的規(guī)模；而在國(guó)外，F(xiàn)acebook在自有算法的情況下人工審核團(tuán)隊(duì)達(dá)到1.5萬(wàn)人，youtube在谷歌大腦算法支持的情況下同樣在2018年審核團(tuán)隊(duì)達(dá)到了一萬(wàn)人。

由此可見(jiàn)，人機(jī)協(xié)同仍是未來(lái)很長(zhǎng)一段時(shí)間的審核模式。然而，人畢竟不是機(jī)器，而是有血有肉的生命。

另一方面，內(nèi)容商往往希望運(yùn)營(yíng)部門(mén)保障用戶(hù)體驗(yàn)，不能讓用戶(hù)的等待時(shí)間過(guò)長(zhǎng)。盡管人人皆知安全第一，但人工審核勢(shì)必難以在這條先審后發(fā)搶奪用戶(hù)的賽道上取得好成績(jī)。

這意味著每天會(huì)有大量UGC的內(nèi)容產(chǎn)生，人工審核與需求量不成正比。

當(dāng)一目十行已經(jīng)太少，需求量變成一目百行、一目萬(wàn)行的時(shí)候，對(duì)于人工審核又快又準(zhǔn)的最低標(biāo)準(zhǔn)便顯得近乎苛刻。

更何況，即使是人工審核，也會(huì)遇到對(duì)某些內(nèi)容束手無(wú)策的時(shí)候。

今年12月，F(xiàn)acebook宣布撥款1.3億美元建獨(dú)立“刪帖法庭”。用小扎的話說(shuō)，在我們很難憑借一己之力來(lái)判斷一個(gè)內(nèi)容是否該被刪除時(shí)，除了通過(guò)建立一個(gè)類(lèi)似“最高法庭”的機(jī)構(gòu)來(lái)決定，我們別無(wú)他法（扎克伯格成會(huì)邀請(qǐng)美國(guó)各界人士加入“刪帖法庭”以保證公正性）。

很多內(nèi)容的含義并不能用標(biāo)簽化的方式來(lái)判斷，這是人工審核容易犯難的地方，而除了鑒別各類(lèi)內(nèi)容，人工審核還不得不應(yīng)對(duì)雜亂無(wú)章的審核管理體系，這對(duì)于加快人工審核速率沒(méi)有一點(diǎn)幫助。

會(huì)議現(xiàn)場(chǎng)，某社交平臺(tái)的工作人員向雷鋒網(wǎng)透露，自己每天要在三個(gè)審核管理平臺(tái)進(jìn)行交替作業(yè)：首先是頭像昵稱(chēng)審核，再者是登錄視頻審核平臺(tái)，如果收到舉報(bào)還要再登錄一個(gè)舉報(bào)審核后臺(tái)......

有1000個(gè)產(chǎn)品就有1000+個(gè)審核后臺(tái)，這種感受，要比你把登了QQ登微信重復(fù)上萬(wàn)遍更崩潰，又何談高效、準(zhǔn)確的審核內(nèi)容呢？

在饒曉艷看來(lái)，上述問(wèn)題的背后體現(xiàn)的是業(yè)務(wù)需求先行，審核需求處于滯后的現(xiàn)狀。歸根結(jié)底，是快速發(fā)展的內(nèi)容平臺(tái)、日趨嚴(yán)苛的審核標(biāo)準(zhǔn)跟陳舊的審核系統(tǒng)之間的一種矛盾。審核系統(tǒng)沒(méi)有專(zhuān)門(mén)的設(shè)計(jì)開(kāi)發(fā)，不會(huì)考慮用戶(hù)體驗(yàn)或者效率多少，這正是產(chǎn)生問(wèn)題的原因所在。

打造人工審核的“助力裝置”

打造全新的審核系統(tǒng)，無(wú)異于推到一棟樓重頭再來(lái)。

饒曉艷在接受雷鋒網(wǎng)獨(dú)家采訪時(shí)稱(chēng)，對(duì)技術(shù)人員來(lái)說(shuō)，真的沒(méi)人希望再做一次審核系統(tǒng)，這意味著以前的審核系統(tǒng)架構(gòu)要完全推翻，根據(jù)新的審核需求重新定義整個(gè)系統(tǒng)，從底層重新來(lái)過(guò)。

然而，今天公布的智能審核管理系統(tǒng)已經(jīng)是網(wǎng)易易盾對(duì)內(nèi)推出的第三代審核系統(tǒng)了，再加上第一代的審核后臺(tái)和第二代的多媒體審核系統(tǒng)，一同刻畫(huà)出網(wǎng)易不同階段對(duì)內(nèi)容審核需求的諸多轉(zhuǎn)變。

早期，這一系統(tǒng)并沒(méi)有對(duì)外公開(kāi)的計(jì)劃。

但正如上述，在饒曉艷團(tuán)隊(duì)走訪的眾多客戶(hù)中，他們聽(tīng)到了與網(wǎng)易內(nèi)部需求類(lèi)似的聲音——審核人員和主管都十分關(guān)心審核系統(tǒng)是否能讓業(yè)務(wù)有更好的審核效率，以及怎樣能幫助節(jié)省成本。

基于以上，網(wǎng)易易盾決定將內(nèi)部使用的這套審核管理工具產(chǎn)品化。至于究竟要打造怎樣的審核系統(tǒng)，細(xì)細(xì)品味起來(lái)側(cè)重點(diǎn)則是有點(diǎn)當(dāng)初微軟打造第一個(gè)電腦操作系統(tǒng)的感覺(jué)。

面對(duì)凌亂、繁雜的各種審核系統(tǒng)，網(wǎng)易易盾一方面希望自己的產(chǎn)品具備高集成度和開(kāi)放性，另一方面更希望操作、視覺(jué)能在審核人員、弱勢(shì)群體和無(wú)經(jīng)驗(yàn)工作者面前體現(xiàn)出極度的界面友好。

那么，它們打算如何實(shí)現(xiàn)這些設(shè)想呢？

首先，是全面豐富。這是指審核管理系統(tǒng)容納包含音視頻內(nèi)容、圖片內(nèi)容和文本內(nèi)容的全生命周期的審核鏈路。

在此基礎(chǔ)上，加入了極速審核、分類(lèi)審核、二審模式、質(zhì)檢審核、全量審核以及部分審核的多選擇，以應(yīng)對(duì)適配不同審核時(shí)效、多重審核流程和不同進(jìn)審核要求。

其次，是智能高效。是指各個(gè)審核邏輯都建立在智能引擎推動(dòng)的前提之下，這是節(jié)省人力成本的關(guān)鍵，也是打造友好界面的關(guān)鍵（之后會(huì)提到）。

一方面，人工智能作為初期的審核工具，依據(jù)標(biāo)簽、模型算法，可以按照審核需求（業(yè)務(wù)、管理制度等）對(duì)內(nèi)容進(jìn)行聚列，并自動(dòng)生成數(shù)據(jù)報(bào)表，以方便人工就單一特征進(jìn)行定向?qū)徍耍ㄒ话阋髮徍巳藛T20分鐘出帖）。

再者，是輕量靈活。俗話說(shuō)辦法總比困難多，面對(duì)層出不窮的新問(wèn)題，定制化模塊可以解決針對(duì)特有客戶(hù)的需求進(jìn)行專(zhuān)門(mén)設(shè)計(jì)。

然而，原本定義高集成度的審核管理系統(tǒng)，如果再加上無(wú)數(shù)個(gè)定制模塊，這是否會(huì)讓整個(gè)系統(tǒng)再次變得臃腫不堪呢？

饒曉艷認(rèn)為，定制化模塊并不意味著只能解決某家企業(yè)的單一問(wèn)題。新的模塊對(duì)應(yīng)的一定是一個(gè)群體的共同需求，而隨著市場(chǎng)需求量的不斷增大，該模塊則會(huì)直接被并入整個(gè)系統(tǒng)當(dāng)中，畢竟這要比做第四個(gè)審核系統(tǒng)來(lái)的容易。

最后，是有溫度。

人工審核有多難做？來(lái)，看一張圖就能說(shuō)明所有問(wèn)題：

要求：請(qǐng)?jiān)?0分鐘內(nèi)，從以下顯示器的圖片中，找出所有戴毛線帽子未成年小眼睛男性的照片。

讓審核管理系統(tǒng)變得更友好，首先就是做好交互設(shè)計(jì)。

以審核直播電視墻畫(huà)面為例，從產(chǎn)品化角度考慮，一個(gè)顯示屏的審核目數(shù)越多，越有利于降低成本，提高審核效率，但勢(shì)必會(huì)造成質(zhì)量下降。

解決這一問(wèn)題，易盾團(tuán)隊(duì)首先選擇了幾家內(nèi)容廠商進(jìn)行蹲點(diǎn)跟蹤調(diào)查，并在百度百科上參考了瀏覽器審核可分辨極限值。

調(diào)查結(jié)果顯示：正常人的最少可辨視覺(jué)閾值約0.5，即針對(duì)22寸1920*1080分辨率的顯示器，人眼在顯示器上可分辨最小像素值范圍為9.81-16.23px，針對(duì)24寸1920*1080分辨率的顯示器，人眼在顯示器上可分辨最小像素值范圍為9.39-15.53px。

最終，得出的結(jié)論是——顯示器審核方式下，屏幕可分辨范圍在10-15xp之間，是最小視覺(jué)可分辨范圍，也就是說(shuō)直播視頻審核畫(huà)面在9路、12路和16路是最舒適人眼的審核畫(huà)面，這在交通監(jiān)控后臺(tái)中十分常見(jiàn)。

然而，面對(duì)海量的內(nèi)容審核需求，這樣的審核路數(shù)一定無(wú)法滿(mǎn)足需求。對(duì)此，更多內(nèi)容廠商會(huì)使用38路、56路（甚至更高）審核的畫(huà)面。那么，該如何實(shí)現(xiàn)人工審核的舒適度與工作效率并駕齊驅(qū)呢？

饒曉艷稱(chēng)，人工智能引擎的應(yīng)用，可以在多路數(shù)顯示器上進(jìn)行現(xiàn)有畫(huà)面的自動(dòng)審核，并通過(guò)提亮顯色對(duì)高危、中危等不同程度的內(nèi)容審核做出提示，以達(dá)到對(duì)舒適區(qū)之外可能遺漏的問(wèn)題內(nèi)容進(jìn)行強(qiáng)提醒。

但人終究是要休息的，因此在系統(tǒng)中內(nèi)置定時(shí)休息的提醒功能也十分有必要，這不光可以對(duì)審核人員起到保護(hù)作用，更有利于保障審核工作的常效執(zhí)行。

其次，是趣味化。正如開(kāi)篇提到的，審核內(nèi)容并不像一般人們認(rèn)為的只有鑒黃這一種。更多時(shí)候，他們所面對(duì)的是黃色、暴力、涉恐等高敏感度的信息。

為了達(dá)到適當(dāng)調(diào)節(jié)審核人員精神的目的，該系統(tǒng)加入了勛章體系、積分體系和夢(mèng)想體系，以此達(dá)到讓評(píng)比、排名等高競(jìng)爭(zhēng)力的信息的顯示方式更加趣味化，促進(jìn)人員成長(zhǎng)體系的完善。

最后，網(wǎng)易易盾認(rèn)為內(nèi)容審核系統(tǒng)的升級(jí)，不光是品牌驅(qū)動(dòng)、產(chǎn)品需求的剛性體現(xiàn)，更應(yīng)該滿(mǎn)足社會(huì)需求。因此，該系統(tǒng)內(nèi)置了無(wú)障礙輔助設(shè)計(jì)，可以支持殘障人士完成審核任務(wù)。

目前，網(wǎng)易易盾面向未來(lái)的第三代智能審核系統(tǒng)1.0版本已經(jīng)上線，未來(lái)將會(huì)以一周一迭代的速度進(jìn)行持續(xù)更新。

花絮

大會(huì)之后，雷鋒網(wǎng)對(duì)饒曉艷進(jìn)行了簡(jiǎn)單專(zhuān)訪，以下為對(duì)話整理：

1、為什么審核管理系統(tǒng)的功能會(huì)在最后落實(shí)到“有溫度”這塊？

饒曉艷：體驗(yàn)舒適為導(dǎo)向，一方面來(lái)自于對(duì)人工審核性質(zhì)的考慮，更多的還是基于客戶(hù)的需求推動(dòng)。在我們與客戶(hù)的交流過(guò)程中，審核人員的身體、心理健康程度是直接影響審核結(jié)果和收益的重要組成部分。

未來(lái)，我們還將為無(wú)障礙輔助系統(tǒng)加入例如多語(yǔ)言切換等各種新的功能支持，以降低內(nèi)容審核的成本。

2、您剛才有提到小扎建立“刪帖法庭”的事情，在國(guó)內(nèi)有類(lèi)似的機(jī)構(gòu)嗎？如果各界人士都參與其中，這是否會(huì)成為新的節(jié)省人工的解決方案？

饒曉艷：首先，在國(guó)內(nèi)網(wǎng)易易盾發(fā)起了內(nèi)容安全聯(lián)盟，其作用是當(dāng)某產(chǎn)品的用戶(hù)對(duì)內(nèi)容進(jìn)行投訴，但并沒(méi)有得到任何的回應(yīng)，這時(shí)該用戶(hù)可以轉(zhuǎn)訴給內(nèi)容安全聯(lián)盟，并由其聯(lián)盟成員對(duì)該內(nèi)容是否違規(guī)進(jìn)行判斷。

這種模式，并不能減緩廠商對(duì)于人工審核的大量需求。

第三方聯(lián)盟的存在，主要是為了處理一些爭(zhēng)議性較強(qiáng)的內(nèi)容，其不保證及時(shí)性。對(duì)于內(nèi)容廠商來(lái)說(shuō)，快速、高效、準(zhǔn)確、合規(guī)是內(nèi)容審核的最大難點(diǎn)，“刪帖法庭”的類(lèi)似機(jī)構(gòu)并不能有效解決這些問(wèn)題。

即使啟用了第三方審核，也能達(dá)到審核的相應(yīng)標(biāo)準(zhǔn)，那這種服務(wù)一定是走付費(fèi)標(biāo)準(zhǔn)的，不會(huì)從解決紛爭(zhēng)的角度來(lái)處理這件事，這會(huì)增加廠商的審核成本。

3、一般視頻、圖片和文本不同方向的客戶(hù)，哪一個(gè)在內(nèi)容審核時(shí)需要的人力成本更高？

饒曉艷：這個(gè)沒(méi)有辦法以一概全。從審核效率來(lái)衡量，圖片、視頻的審核效率要高于文本，視頻、圖片的審核，歸根結(jié)底都是圖片的審核。相比文本審核，視頻、圖片的審核速度會(huì)高1倍多。

其主要原因在于審核方式的不同，圖片的審核，在AI的加成下可以根據(jù)其特征、類(lèi)型和內(nèi)容導(dǎo)向做到批量審核，盡管文本也可以做聚類(lèi)分析，但更需要人眼逐字逐句看過(guò)并參悟其含義，一目幾百行的情況是不存在的。

雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。