0
本文作者: Nemo | 2025-02-19 14:20 |
2月18日,國內(nèi)領先的可觀測與應用安全廠商基調聽云發(fā)布了《大模型服務性能評測 DeepSeek-R1 API 版》第一期報告,對多家提供 DeepSeek-R1 API 服務的廠商進行全面評測,為開發(fā)者和終端用戶提供了重要參考。
DeepSeek-R1 推理大模型自 2025 年 1 月 20 日發(fā)布以來備受關注,其邏輯推理能力出色,引發(fā)全球轟動。然而,隨著用戶量暴增,該模型官方服務頻繁報錯,服務器繁忙問題突出。在此背景下,多家第三方服務商推出相關服務,市場競爭加劇。
此次評測利用基調聽云撥測工具,模擬真實用戶進行主動監(jiān)控,從網(wǎng)絡性能、接口響應時間、推理速度、內(nèi)容生成速度等多個關鍵指標,對主流云服務廠商的 API 接口展開深入測試。評測數(shù)據(jù)綜合了多個城市、運營商、主機和時間維度的分析,確保結果的科學性與可靠性。
評測結果顯示,在參與評測的火山引擎、DeepSeek 官方、硅基流動、騰訊云、阿里云百煉等廠商中,火山引擎表現(xiàn)最為突出,在 API 響應性能上全面領先,平均速度、推理速度、生成速度均為最優(yōu),可用性高達 99.83% ,是 API 接入的首選推薦。DeepSeek 官方雖推理速度較快,但首 Token 延遲長達 7.753 秒,可用性僅 42.21%,成為明顯短板。硅基流動首 Token 響應快且可用性穩(wěn)定,但平均速度較弱。騰訊云整體性能較低,總性能最差且可用性一般。阿里云百煉平均速度最慢,首包時間最長,不過可用性尚可。
DeepSeek R1評測結果(圖片來自基調聽云公眾號)
從不同維度進一步分析,火山引擎在北京、上海、廣州、深圳、蘇州、成都、重慶、武漢、成都、杭州等所有城市測試中均保持最高性能;DeepSeek 官方在重慶的首 Token 時間最長,其他城市在 9 秒內(nèi);硅基流動的可用性在廣州表現(xiàn)最差,其他城市在 98% 以上。運營商維度,DeepSeek 官方在中國移動網(wǎng)絡下建連時間較長,其他運營商下均在 0.05 秒以內(nèi),其余服務商指標未見明顯差異。主機維度,騰訊云主機數(shù)量最多、分布最廣,DeepSeek 官方主機數(shù)量最少。時間維度上,不同時段各服務商表現(xiàn)不同,整體受用戶流量和服務器負載影響。
此次評測為開發(fā)者和企業(yè)用戶提供了深度數(shù)據(jù)支撐,有助于其科學選擇服務商,優(yōu)化產(chǎn)品體驗。此外,基調聽云還為普通用戶整理了支持 DeepSeek-R1 的第三方服務及相關網(wǎng)站信息,涵蓋免費和付費模式,方便用戶選擇使用。同時,基調聽云預告正在對網(wǎng)頁版本的 DeepSeek-R1 服務進行評測,后續(xù)將發(fā)布網(wǎng)頁版評測結果。
附:《大模型服務性能評測 DeepSeek-R1 API 版》
報告原文https://mp.weixin.qq.com/s/WDAQ5qc968HfvzuU3_NntQ
雷峰網(wǎng)版權文章,未經(jīng)授權禁止轉載。詳情見轉載須知。