現(xiàn)在的手機(jī)跑分，真的是不能信。

手機(jī)產(chǎn)商、芯片廠商越來越追求芯片的跑分?jǐn)?shù)值，Benchmark （基準(zhǔn)性能測(cè)試）逐漸成為衡量設(shè)備性能的重要標(biāo)準(zhǔn)。

但在一味追求分值的同時(shí)，廠商們也逐漸深陷“分值禁錮”之中，近期的聯(lián)發(fā)科，就是如此。

聯(lián)發(fā)科芯片 benchmark 造假

事情的開始，要從 OPPO Reno3 說起。

外媒 Anandtech 發(fā)現(xiàn)，搭載 P95 CPU 的歐洲版 OPPO Reno3 Pro 的跑分?jǐn)?shù)值比搭載性能更強(qiáng)大的最新 Dimensity 1000L CPU 的國(guó)行版 Reno3 的高，這引起了 Anandtech 的質(zhì)疑。

由此，Anandtech 分別使用匿名版（可幫助分值作弊）和常規(guī)版的 PCMark 對(duì) MediaTek P95 CPU 進(jìn)行跑分。

雷鋒網(wǎng)注：圖源 Anandtech

結(jié)果顯示，P95 CPU 的真實(shí)總分比匿名版得分低 30%；在寫入負(fù)載方面，二者得分的差異甚至達(dá)到 75%。

同時(shí)，Anandtech 指出，通過對(duì) OPPO Reno3 Pro 進(jìn)行測(cè)試，結(jié)果表明并非是 OPPO Reno3 Pro 導(dǎo)致的跑分差異。也就是說，造成跑分差異的根源在于聯(lián)發(fā)科芯片。

為了證明這一結(jié)論， Anandtech 對(duì) Reno3 搭載的聯(lián)發(fā)科芯片作進(jìn)一步調(diào)查。結(jié)果發(fā)現(xiàn)，在手機(jī)的固件（/vendor/etc 文件夾）中，包含一個(gè)“power_whitelist_cfg.xml”文件。

該文件中存在一個(gè)涵蓋各種基準(zhǔn)測(cè)試的列表，包括 GeekBench、AnTuTu、3 dbench,、PCMark、魯大師、AndroBench2 等。不僅如此，列表中還新增了人工智能基準(zhǔn)測(cè)試，包括 Master Lu AIBench、ZTH AI 。

雷鋒網(wǎng)注：Reno3 Pro“運(yùn)動(dòng)模式”基準(zhǔn)白名單部分截圖（圖源  Anandtech）

在這其中，Anandtech 找到了 PCMark 的 APK ID，發(fā)現(xiàn) ID 中配置了一些電源管理提示，其中一個(gè)共同的提示為“運(yùn)動(dòng)模式”。

該模式能夠修正 SoC 芯片的一些 DVFS （動(dòng)態(tài)電壓頻率調(diào)整）特性，比如始終以最大頻率運(yùn)行內(nèi)存控制器。另外，在負(fù)載跟蹤方面，調(diào)度器也被更改了設(shè)置，在工作負(fù)載時(shí) CPU 核心的頻率能夠更快地上升，并停留更長(zhǎng)時(shí)間。

不僅如此，其 APK ID 還包含了企業(yè)版的 GFXBench，雖然在清單中沒有配置“運(yùn)動(dòng)模式”提示，但在使用應(yīng)用程序是會(huì)改為默認(rèn)的 DVFS、熱力和調(diào)度器設(shè)置。

值得注意的是，“power_whitelist_cfg.xml”文件不僅存在于 OPPO 設(shè)備上，Anandtech 還在其他設(shè)備上（搭載聯(lián)發(fā)科芯片的設(shè)備）發(fā)現(xiàn)了類似文件以及幾乎相同的基準(zhǔn)清單條目。如表所示：

     

雷鋒網(wǎng)注：表中缺少 AI 測(cè)試，并非完整的基準(zhǔn)測(cè)試列表（圖源 Anandtech）

巧合的是，在 Anandtech 解壓文件之后，OPPO 向手機(jī)推送了一個(gè)固件更新，文件中原有的基準(zhǔn)列表消失了。Anandtech 認(rèn)為該文件列表僅是被移動(dòng)了位置，因?yàn)榛鶞?zhǔn)測(cè)試中依然能夠觸發(fā)“運(yùn)動(dòng)模式”，從而使性能大大提升。

聯(lián)發(fā)科回應(yīng)

對(duì)于 Anandtech 提出的質(zhì)疑，聯(lián)發(fā)科方面也給出了正面回應(yīng)。以下為回應(yīng)聲明：

聯(lián)發(fā)科技遵循公認(rèn)的行業(yè)標(biāo)準(zhǔn)，并且對(duì)基準(zhǔn)測(cè)試準(zhǔn)確地代表了我們芯片組的功能充滿信心。在測(cè)試和基準(zhǔn)測(cè)試由我們的芯片組驅(qū)動(dòng)的設(shè)備時(shí)，我們與全球設(shè)備制造商緊密合作，但最終，品牌商可以靈活地配置自己認(rèn)為合適的設(shè)備。許多公司將設(shè)備設(shè)計(jì)為在進(jìn)行基準(zhǔn)測(cè)試時(shí)以最高性能運(yùn)行，以顯示芯片組的全部功能。這揭示了任何給定芯片組的性能能力的最高端。

當(dāng)然，在現(xiàn)實(shí)世界中，有許多因素將決定芯片組的性能。聯(lián)發(fā)科技的芯片組旨在優(yōu)化功耗和性能，以在盡可能延長(zhǎng)電池壽命的同時(shí)提供最佳的用戶體驗(yàn)。如果有人正在運(yùn)行諸如要求苛刻的游戲之類的計(jì)算密集型程序，則該芯片組將智能地適應(yīng)計(jì)算模式以提供持續(xù)的性能。

這意味著，隨著芯片組根據(jù)出色的用戶體驗(yàn)所需的功能和性能動(dòng)態(tài)管理 CPU，GPU和內(nèi)存資源，用戶將從不同的應(yīng)用程序中看到不同的性能水平。此外，某些品牌在不同地區(qū)具有不同類型的模式，因此設(shè)備性能可能會(huì)因地區(qū)市場(chǎng)需求而異。

我們認(rèn)為，在基準(zhǔn)測(cè)試中展示芯片組的全部功能與其他公司的做法是一致的，并且可以為消費(fèi)者提供有關(guān)設(shè)備性能的準(zhǔn)確信息。

聯(lián)發(fā)科認(rèn)為，其公布的 Benchmarks 分值代表了芯片組驅(qū)動(dòng)設(shè)備時(shí)的最高分值，代表了芯片組性能的最高端，所以不存在跑分造假的行為。同時(shí)聯(lián)發(fā)科指出，這一做法與其它公司的做法是一致的，也就是說，行業(yè)里的廠商都是這么做的。

但這一回應(yīng)遭到了 Anandtech 的反駁。Anandtech 認(rèn)為，聯(lián)發(fā)科并無回應(yīng)出問題的本質(zhì)。其具有欺騙性的 Benchmarks 不僅針對(duì)的是與 SoC 相關(guān)的跑分軟件（例如 GeekBench、GFXBench），而且面向了與用戶體驗(yàn)相關(guān)的跑分軟件，也就是前文提到的 PCMark。

Anandtech 解釋稱，PCMark 是一個(gè)系統(tǒng)基準(zhǔn)測(cè)試，其分值代表了芯片的工作負(fù)載和設(shè)備響應(yīng)能力。雖然 PCMark 反映的是芯片的性能，但會(huì)受 DVFS 和調(diào)度程序等軟件和機(jī)制的影響；這也印證了前文提及“運(yùn)動(dòng)模式”會(huì)修正 SoC 芯片的 DVFS 特性，從而影響 Benchmarks 分值。

另外，Anandtech 指出，PCmark 分值反映的是用戶使用體驗(yàn)，而不僅僅是芯片組的性能。也就是說，Anandtech 認(rèn)為聯(lián)發(fā)科干涉 PCmark 分值已超出了芯片跑分的范圍。

用產(chǎn)品說話，才擲地有聲

事實(shí)上，在聯(lián)發(fā)科之前，三星、華為都曾因欺騙 Benchmark 結(jié)果陷入輿論中心。

2014 年，測(cè)試人員發(fā)現(xiàn)三星通過添加源代碼在基準(zhǔn)測(cè)試中作弊，該代碼能夠檢測(cè)基準(zhǔn)測(cè)試應(yīng)用程序是否在手機(jī)上運(yùn)行，一旦發(fā)現(xiàn)，則以更快的速度（532MHz，正常情況下為 480MHz）運(yùn)行手機(jī)。

由此，三星遭到了集體訴訟，且該訴訟長(zhǎng)達(dá) 4 年。2019 年 9 月 30 日，三星敗訴，承認(rèn)在基準(zhǔn)測(cè)試中作弊，同意向 Galaxy S4 的購(gòu)買者支付 10 美元賠償。

同樣的事情在華為身上也發(fā)生了。Anandtech 發(fā)現(xiàn)，華為會(huì)在新設(shè)備中配備基準(zhǔn)檢測(cè)機(jī)制，為 SoC 提供了更高的功率限制。最終，在某些白名單應(yīng)用程序中，設(shè)備的性能會(huì)更高。

不過，這種做法會(huì)帶來一些負(fù)面影響，包括消耗電能，降低機(jī)組效率，降低電池壽命等。

對(duì)此，華為表示，僅憑一個(gè)單一的基準(zhǔn)數(shù)字并不能顯示完整體驗(yàn)。但對(duì)于部分項(xiàng)目，進(jìn)行基準(zhǔn)測(cè)試是整個(gè)行業(yè)中被認(rèn)可的方式，每個(gè)公司都在朝著更好的客觀結(jié)果而努力。同時(shí)，華為消費(fèi)者 BG 軟件工程部總裁王成錄表示，其他廠商都在進(jìn)行同樣的測(cè)試獲得高分，華為不能保持沉默。

不難看出，Benchmark 的高分值正成為芯片制造商追求的目標(biāo)，也逐漸成為了行業(yè)的營(yíng)銷手段。Benchmark 分值固然能反應(yīng)設(shè)備的性能，但為了營(yíng)銷、數(shù)值攀比而進(jìn)行跑分造假不應(yīng)是行業(yè)常態(tài)。

且不論“你做我也做”追求 Benchmark 高分值的盲目性，就跑分造假這一行徑而言，其分值只能在短時(shí)間內(nèi)獲取用戶體驗(yàn)的好感度，但從長(zhǎng)期視角來看，追求高分值會(huì)帶來設(shè)備性能的損耗，這并不是與用戶建立良好關(guān)系的正確途徑。

正如 AnandTech 在文中提及，更好地與用戶體驗(yàn)建立聯(lián)系的唯一方式，就是讓每個(gè)常規(guī)游戲在標(biāo)準(zhǔn)的功率范圍內(nèi)運(yùn)行。

也就是說，性能最具說服力的表現(xiàn)不是分值，而是產(chǎn)品本身。

參考資料：

【1】https://www.anandtech.com/show/15703/mobile-benchmark-cheating-mediatek

【2】https://www.anandtech.com/show/13318/huawei-benchmark-cheating-headache

【3】https://www.mediatek.com/blog/why-mediatek-stands-behind-our-benchmarking-practices

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。