最近，美國(guó)一家知名教育平臺(tái)登上了Reddit熱搜。

原因是有家長(zhǎng)爆料，該公司旗下的AI閱卷系統(tǒng)存在重大漏洞，學(xué)生只要在答題區(qū)寫上零散的“關(guān)鍵詞”就能輕松拿高分。

在事后采訪中，一位匿名學(xué)生稱，

如果不是閱卷系統(tǒng)的的漏洞，我不會(huì)通過(guò)代數(shù)2考試，我只是把與問(wèn)題相關(guān)的關(guān)鍵詞填了上去，我相信老師們已經(jīng)發(fā)現(xiàn)，但他們沒(méi)有做任何處理。

據(jù)了解，這款A(yù)I閱卷系統(tǒng)搭載于虛擬學(xué)習(xí)平臺(tái)Edgenuity，目前已服務(wù)了2萬(wàn)所美國(guó)院校。

而這位爆料者名為達(dá)娜·西蒙斯（Dana Simmons），是加州大學(xué)河濱分校的歷史系副教授。

她之所以發(fā)現(xiàn)AI評(píng)分系統(tǒng)漏洞是因?yàn)樗膶W(xué)霸兒子在歷史測(cè)評(píng)中只拿到了50%的成績(jī)。

隨便寫寫就能拿高分

拉扎爾（Lazare）是一名高中生，他剛剛在Edgenuity平臺(tái)完成了歷史考試測(cè)評(píng)，滿分100，他只拿到了50分，這顯然與平時(shí)成績(jī)相差很多，他很傷心。

一開始，Simmons還試圖安慰他，也許這次的閱卷的老師比較嚴(yán)格。不過(guò)，Lazare稱，老師并沒(méi)有看他的答案，提交試卷不到一分鐘，成績(jī)就出現(xiàn)了。

Simmons知道，這應(yīng)該是系統(tǒng)算法自動(dòng)評(píng)分，隨后他看了兒子的考試試卷，似乎并沒(méi)有什么大的問(wèn)題。于是，她決定用一道歷史題測(cè)試一下系統(tǒng)的評(píng)分規(guī)則，結(jié)果讓她大跌眼鏡。

題目是這樣的：君士坦丁堡的地理位置如何幫助拜占庭帝國(guó)變得富有和繁榮？

它位于愛琴海和黑海之間，是商船和乘客的集散地。它也正處于歐洲和小亞細(xì)亞之間，這使它成為一個(gè)巨大的貿(mào)易中心，而且在當(dāng)時(shí)的許多貿(mào)易路線。利潤(rùn)、多樣化、西班牙、中國(guó)、印度、非洲。

Simmons稱，她只是寫了兩個(gè)相關(guān)的長(zhǎng)句，然后又往上堆疊了一些不連貫的關(guān)鍵詞，比如財(cái)富、印度、中國(guó)、中東。但這種拼湊的“單詞沙拉（Word Salad）”形式，系統(tǒng)卻給了她滿分。

原來(lái)根據(jù)該公司官網(wǎng)顯示，系統(tǒng)的的評(píng)分規(guī)則是，如果某些問(wèn)題的答案不包括關(guān)鍵字，系統(tǒng)會(huì)判定為0分，如果至少包含一個(gè)關(guān)鍵字，則為100分。 而其他的問(wèn)題根據(jù)包含的關(guān)鍵字?jǐn)?shù)量獲得一定的百分比。

按關(guān)鍵詞評(píng)分不失為一種好的方式，但只是按照關(guān)鍵詞，顯然會(huì)出現(xiàn)明顯失誤。

隨后，Simmons在社交平臺(tái)Twitter上，公開指責(zé)Edgenuity公司，稱其AI算法漏洞不利于教育公平，引起很多網(wǎng)友的關(guān)注和支持。

對(duì)此，Edgenuity公司做出回應(yīng)稱，AI系統(tǒng)評(píng)分只是作為參考，老師有權(quán)對(duì)其進(jìn)行修改。

Edgenuity不會(huì)使用算法代替老師評(píng)分，只是為老師提供評(píng)分指導(dǎo)。老師有能力接受或否決建議的分?jǐn)?shù)，AI不會(huì)決定學(xué)生的課程成績(jī)。

不過(guò)，這一回應(yīng)也是分分鐘打臉。

在事后采訪中，Lazare的一位同學(xué)表示，老師確實(shí)可以重新查看學(xué)生的試卷，并給出最終的得分。但他認(rèn)識(shí)的大多數(shù)同學(xué)都表示，從未見過(guò)老師更改Edgenuity分配的成績(jī)，盡管聽說(shuō)有同學(xué)使用“單詞沙拉”的方法獲取高分。

“如果老師在看答案，他們根本不在乎”。

“我整個(gè)學(xué)期都靠它”

重要的是，Simmons并不是最早發(fā)現(xiàn)Edgenuity存在評(píng)分漏洞的的人。

一位已經(jīng)畢業(yè)的高中生奧斯丁·帕拉迪索（Austin Paradiso）表示，他在高中期間曾多次使用Edgenuity平臺(tái)進(jìn)行考試，雖然不喜歡“關(guān)鍵詞沙拉”，但這種方式確實(shí)有助于得高分，而且100%有效。

據(jù)了解，Edgenuity是美國(guó)知名在線虛擬教育機(jī)構(gòu)，已成立二十多年，其提供的K12教育服務(wù)已廣泛用于2萬(wàn)多所院校，而這一服務(wù)就包括Edgenuity平臺(tái)內(nèi)置的AI評(píng)分系統(tǒng)。

另外，由于今年受疫情影響，大多數(shù)美國(guó)學(xué)校都轉(zhuǎn)向了線上授課模式，其教學(xué)和評(píng)分服務(wù)業(yè)也選擇外包給虛擬教育平臺(tái)，Edgenuity是其中收到合同最多的一個(gè)。

據(jù)統(tǒng)計(jì)，Edgenuity公司為初中生和高中生提供了300多個(gè)在線課程，涉及從數(shù)學(xué)到社會(huì)研究的各個(gè)領(lǐng)域。這些課程由教學(xué)視頻、虛擬作業(yè)，以及在線考試組成。Edgenuity在其中負(fù)責(zé)課程提供和作業(yè)評(píng)分。

而經(jīng)過(guò)多次考試，很多學(xué)生都已經(jīng)摸透了系統(tǒng)的評(píng)估方法。

一位學(xué)生說(shuō)，當(dāng)他不會(huì)做的時(shí)候，會(huì)嘗試提交與問(wèn)題相關(guān)的成批關(guān)鍵詞，這種方法通常都會(huì)奏效。

還有另外一位同學(xué)表示，他們會(huì)截取原文中的關(guān)鍵詞粘貼到答題區(qū)，在整個(gè)上學(xué)期都使用了這個(gè)技巧。并且每次都能獲得不低的分?jǐn)?shù)。

另外，在4個(gè)月前，還有學(xué)生公然在Reddit上發(fā)布帖子，詢問(wèn)如何利用Edgenuity作弊。

在老師不知情的情況下，如何成功欺騙Edgenuity？

我發(fā)現(xiàn)你們可以輕松地找到所有答案，我想知道是如何做到的，是否會(huì)花時(shí)間回答每個(gè)問(wèn)題？

帖子下方聚集了很多同學(xué)評(píng)論，分享在線作弊技巧。其中一位學(xué)生表示，幾乎每一次Edgenuity平臺(tái)考試都會(huì)作弊。

此次Simmons的揭發(fā)對(duì)Edgenuity造成了不小影響，已家長(zhǎng)公開反對(duì)學(xué)校使用該虛擬平臺(tái)，并表示不希望技術(shù)影響孩子成績(jī)。

AI閱卷，你怎么看？

AI技術(shù)參與到考試測(cè)評(píng)系統(tǒng)中似乎是一種必然的趨勢(shì)。在國(guó)內(nèi)已經(jīng)有很多相關(guān)研究，而且一些技術(shù)已經(jīng)開始逐步走向落地階段。

阿里巴巴于近日發(fā)起的百萬(wàn)獎(jiǎng)金數(shù)學(xué)挑戰(zhàn)賽，便聲稱由其自主研發(fā)的AI擔(dān)任輔助閱卷老師。

不過(guò)，關(guān)于AI閱卷的標(biāo)準(zhǔn)性和公平性一直備受爭(zhēng)議。

對(duì)于有標(biāo)準(zhǔn)答案的客觀題來(lái)說(shuō)，AI的評(píng)分能力毋庸置疑，而且對(duì)于一些基礎(chǔ)的識(shí)別錯(cuò)字能力，AI也有不錯(cuò)的表現(xiàn)，比如在2017年阿里舉辦的AI作文評(píng)分測(cè)試中，AI僅用十幾秒，就在一篇200字的作文中的找出了8個(gè)錯(cuò)別字。

顯然，AI在提高閱卷效率，減少老師壓力方面發(fā)揮了不少作用。但對(duì)于一些開放式試題，比如作文，AI閱卷則產(chǎn)生了不同的爭(zhēng)議。

有人認(rèn)為，AI閱卷可以避免主觀偏見，在文本結(jié)構(gòu)、語(yǔ)言表達(dá)方面形成統(tǒng)一的標(biāo)準(zhǔn)，而且其海量的文章儲(chǔ)備，也會(huì)高于人類老師的評(píng)分水平。

但也有人表示，AI判分過(guò)于刻板，如上文中的Edgenuity平臺(tái)，開放式題目表達(dá)是考生的核心思想，人類的情感表達(dá)是AI無(wú)法按照對(duì)錯(cuò)來(lái)評(píng)判的。

對(duì)此你怎么看呢？

引用鏈接：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

https://www.theverge.com/2020/9/2/21419012/edgenuity-online-class-ai-grading-keyword-mashing-students-school-cheating-algorithm-glitch

https://www.reddit.com/r/edgenuity/comments/gbmx2l/how_do_i_successfully_cheat_on_edgenuity_without/

https://help.edgenuitycourseware.com/hc/en-us/articles/360042418854-Auto-Grading-Method-Comparison

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。