全球頭部開源模型方的共同選擇，印證了一款底層框架的硬實力。趨境科技與清華共同開源的KTransformers，已成為Qwen、Kimi、智譜AI等多個主流大模型發(fā)布首日的推薦推理引擎，其工程實踐與兼容性也被多家一體機(jī)產(chǎn)品線采納，成為被開發(fā)者、廠商與開源社區(qū)廣泛復(fù)用的共建式底層框架。

技術(shù)與生態(tài)雙認(rèn)可：成功入選 “計算機(jī)系統(tǒng)領(lǐng)域奧斯卡” SOSP 2025

KTransformers 是一個高性能異構(gòu)推理框架，專注于高效利用底層 GPU、CPU、內(nèi)存等多樣化算力，讓大模型在更低算力、更靈活的硬件架構(gòu)上高效運行。其論文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入選 “計算機(jī)系統(tǒng)領(lǐng)域奧斯卡” SOSP 2025，該頂會過去幾十年間見證了虛擬化、分布式文件系統(tǒng)等無數(shù)里程碑式技術(shù)成果的首次亮相，此次入選標(biāo)志著 KTransformers 的技術(shù)實力獲得全球頂尖認(rèn)可。

11月6日，月之暗面發(fā)布Kimi-K2-Thinking 模型后，KTransformers迅速完成全面適配，支持用戶在單卡環(huán)境下完成推理任務(wù)，2卡環(huán)境下完成LoRA微調(diào)任務(wù)，大幅降低部署與定制化門檻。同時，趨境科技也已完成該模型在昇騰NPU上的全面適配，提供完善的全國產(chǎn)化推理解決方案，進(jìn)一步拓寬其應(yīng)用場景。

推理與微調(diào)雙高效：KTransformers+SGLang實現(xiàn)高性能推理部署

在推理部署層面，KTransformers與主流推理框架SGLang于10月達(dá)成合作，雙方架構(gòu)合入同一分支。在Kimi-K2-1TB的模型推理任務(wù)中，用戶僅需簡單安裝SGLang與KTransformers CPU內(nèi)核，下載官方模型及量化權(quán)重，即可通過一條命令啟動服務(wù)，且僅需單張消費級 GPU+CPU。這一合作融合了GPU+CPU異構(gòu)推理創(chuàng)新模式與全GPU傳統(tǒng)推理模式，推動大模型推理向更高性能、更低成本演進(jìn)，邁向更廣泛的產(chǎn)業(yè)落地。

在微調(diào)部署層面，KTransformers與LLaMA-Factory深度集成，支持LoRA等輕量級微調(diào)方法，僅占用約41 GB顯存+2T內(nèi)存，就能實現(xiàn)46.55 token/s的微調(diào)吞吐量。傳統(tǒng)上，LoRA 微調(diào)千億模型成本高達(dá)數(shù)百萬，而趨境的異構(gòu)微調(diào)能力將資源需求降低到單個消費級 GPU（如 RTX 4090）起，讓高校、中小型實驗室、初創(chuàng)公司甚至個人開發(fā)者都能參與大模型定制。該方案在 DeepSeek-14B 模型上展現(xiàn)了超過傳統(tǒng)方案 1.8 倍的吞吐、顯存占用降低 82%，是消費級顯卡上微調(diào)超大參數(shù) MoE 模型的唯一可行方案。

對趨境科技而言，KTransformers承載的是 “普惠頂尖AI智能與隱私” 的價值理念。大模型時代需要更廣譜的推理基礎(chǔ)設(shè)施路線，趨境已與多個國產(chǎn) CPU、GPU硬件平臺合作，推進(jìn)全國產(chǎn)高性價比方案；為數(shù)十家行業(yè)開發(fā)伙伴提供算力底座，讓更多團(tuán)隊用得起、調(diào)得動大模型。今天的KTransformers，已讓大模型推理脫離高端算力壟斷；未來，趨境將繼續(xù)推動 AI 能力普惠，讓大模型真正融入各類業(yè)務(wù)場景。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。