0
本文作者: 二維馬曉寧 | 2025-01-23 17:03 |
這是一個小眾的領域。
這是一場少有人知的比賽。
這卻是一份決定中國未來工業(yè)智能化的軟件。
一切指向三個字:求解器。
2024年12月28日下午6點,是 “國產(chǎn)求解器技術專題賽”決賽的提交截止時間。
這是一場極其低調(diào)的比賽,由工信部產(chǎn)業(yè)發(fā)展促進中心組織的“第二屆能源電子產(chǎn)業(yè)創(chuàng)新大賽”專設,作為目前國內(nèi)求解器領域唯一的權威賽事。主流的商用求解器和科研院所開發(fā)者濟濟一堂,但在大眾層面,沒有太多的熱度和關注。
達摩院決策智能實驗室算法專家葉俊帶領的小分隊,帶著“敏迭求解器”,頂著“衛(wèi)冕冠軍”的光環(huán)和壓力,經(jīng)過了十天的線上測試賽和三天的線下測試賽,直至參加決賽。
比賽的賽題延續(xù)去年,以電力調(diào)度為背景。求解器需要精準地調(diào)度發(fā)電機組,在每時每刻,決策哪些機組啟停,發(fā)電功率多少,既要保持電網(wǎng)平衡,又要經(jīng)濟效益最高,還要安全穩(wěn)定。這種“燒腦”的數(shù)學題,正是求解器的用武之地。但即使是對高性能的求解器而言,電網(wǎng)也是一張由百萬級變量緊密耦合的復雜網(wǎng)絡,求解難度極大。
本屆比賽進一步“上強度”,將計算規(guī)模提升至上千臺發(fā)電機組的調(diào)度,并且額外引入了儲能調(diào)度。這也是在新能源比例不斷攀升的時代,新型電力系統(tǒng)面臨的現(xiàn)實需求,賽題充分考慮到了這一點。
為此,衛(wèi)冕冠軍隊準備了兩手新的“殺招”。一是AI,二是分布式計算。針對比賽前下發(fā)的參考算例,他們將測試算例拆分成多個單元計算任務,依托自研的分布式計算框架Distrun并行測試,“一將”化成“千軍萬馬”,快速尋找算法的改進機會。
面對決賽中的未知算例,他們利用深度學習技術Learn2Configure,為求解器自動配置高質量的超參數(shù),就像有一位“AI顧問”幫助人類自動搜索最佳參數(shù)組合,平均可將求解效率提升1.5倍。
24小時后,決賽成績公布?!懊舻倍燃用?。
01
做一款真正的“新”求解器
從運籌學的角度看,一切決策都應該基于“問題求解”(Problem Solving),即在有限的資源下實現(xiàn)最大化效益或最小化成本。解決這類問題的專業(yè)軟件,被稱為“求解器”(solver)。
它是現(xiàn)代工業(yè)、商業(yè)決策行為中的核心工具之一,內(nèi)嵌在電力能源、工業(yè)制造、交通物流、零售、金融、云計算、科研等行業(yè)的核心業(yè)務系統(tǒng)中。因此,求解器也有“工業(yè)軟件之芯”之稱。
設計工期最短的項目計劃、總成本最低的航班編排、風險水平最低的資金調(diào)配方案、對健康組織傷害最小的放療方案、里程最短的運輸路線等......人類整個經(jīng)濟社會,都是求解器的舞臺。
長期以來,國際市場上占據(jù)主導地位的是三家國外求解器巨頭,IBM CPLEX、GUROBI和FICO Xpress。國內(nèi)既缺少相關研發(fā)人才,也缺少商用求解器的品牌。
達摩院決策智能研究實驗室負責人、運籌學Egon Balas獎唯一的中國得主印臥濤,是運籌優(yōu)化研究的領軍人物之一。2019年,基于中國產(chǎn)業(yè)界的諸多現(xiàn)實需求,他決定帶隊自研一套求解器。
然而,工程和學術之間的差別巨大。一篇論文只是一塊算法的磚頭,但是一個求解器是一座算法的大廈,不僅要把每一塊磚頭煅燒好,也要有工程的實現(xiàn)能力,更要提升算法之間的配合效率。
經(jīng)過四年的連續(xù)攻堅戰(zhàn),隨著各模塊不斷被驗證、完善,共迭代26個版本,線性規(guī)劃能力多次登頂國際權威測評榜單。2023年10月,達摩院自研求解器的1.0版本正式發(fā)布。
2024年11月,該求解器被正式命名為“敏迭”并升級2.0版本,增加了對非線性規(guī)劃(NLP)和混合整數(shù)二次錐規(guī)劃(MIQCP)兩類模型的支持。在針對1800個NLP和252個MIQCP問題的測評中,敏迭的求解數(shù)量和速度均持平或超越其他商用求解器,達到國際一流水平。
和國外那些已經(jīng)有幾十年歷史的求解器相比起來,敏迭必須承擔“遲到者”的劣勢,那就是老牌廠商已經(jīng)積攢了幾十年的算例、數(shù)據(jù)和算法,底蘊深厚,能熟練地針對特定行業(yè)應用問題進行求解。這是一定要承認的事實。
但從另一方面講,老牌廠商有時也受限于“老牌”的包袱,沒有給后來誕生的新技術預留位置,面對一些新產(chǎn)業(yè)形態(tài)和需求,也會有跟不上的困擾。
而這,正是敏迭作為“后發(fā)者”的優(yōu)勢。印臥濤告訴雷峰網(wǎng)(公眾號:雷峰網(wǎng)):“從2019年起步的時候,達摩院求解器就把目標定為下一代的技術,而不是僅僅是追趕國際領先廠商?!?/p>
在這次比賽中,葉俊等嘗試的AI、分布式計算、優(yōu)化求解三方面的融合,就是由敏迭長期堅持的創(chuàng)新技術路線。它突破傳統(tǒng)的求解器概念,直接把最前沿的技術寫入求解器的基因,重塑“工業(yè)軟件之芯”。
不久前,敏迭求解器就入選了工信部發(fā)布的“人工智能賦能新型工業(yè)化”典型應用案例,在“裝備產(chǎn)品”方向上排名第一。
敏迭證明了,人工智能這個最熱門的技術名詞,和求解器這個小眾冷門的技術名詞,完全可以互相成就。
02
成為中國產(chǎn)業(yè)升級的“最強大腦”
2023年年底,達摩院自研求解器剛剛發(fā)布1.0版本,恰逢首屆國產(chǎn)求解器技術專題賽舉辦,一舉奪魁。
2024年底,“敏迭”求解器2.0碰上第二屆國產(chǎn)求解器技術專題賽,又是一場酣暢淋漓的勝利。
在某種意義上,達摩院自研求解器的歷程,也和中國產(chǎn)業(yè)界對決策智能的認知和需求發(fā)展相契合。
早在研發(fā)之初,達摩院就曾在國際權威求解器性能榜單上刷新世界紀錄,從此之后,團隊心里有了底,不再將單純的打榜作為評價能力的指標,而將這款求解器能否真的在實際場景中產(chǎn)生價值,作為自我考核的標準。
光有技術是不夠的,只有被市場廣泛認可的產(chǎn)品,才有余力去做自我迭代,從而保留長久的生命力。和老牌求解器相比,除了“AI+優(yōu)化求解器”的技術創(chuàng)新,敏迭求解器也作了生態(tài)創(chuàng)新的嘗試。
首先是降低安裝和部署的門檻。敏迭求解器器是國內(nèi)唯一一家有云端在線版本的求解器軟件。這種部署既可以支持不同的云廠商和云資源,也可以支持個人電腦。再加上使用說明極其詳盡,配置起來也很簡單,需求簡單的客戶,可以直接上手。其他求解器需要本地化部署,將一些沒有技術和資源條件的需求方拒之門外。
其次,敏迭團隊向客戶“多走一步”,打造了全流程優(yōu)化套件,包括建模語言MAPL、AI調(diào)參器Tuner、開發(fā)平臺Studio、AI工程師Copilot以及分布式計算DistRun等。
求解器的價值,是能夠支撐決策智能化的核心計算引擎。中國的商用求解器發(fā)展較晚,一個深層的原因是,求解器的發(fā)展和產(chǎn)業(yè)數(shù)字化的進程息息相關。有了數(shù)字化,有了數(shù)據(jù)和技術支撐,才能將產(chǎn)業(yè)問題轉變?yōu)閿?shù)學問題,也才能通過求解的方式,從依賴人工經(jīng)驗轉向有科學依據(jù)的智能決策。
中國的工業(yè)數(shù)字化正在進行時,工業(yè)數(shù)智化又近在眼前。許多剛剛完成數(shù)字化、或者尚未完成數(shù)字化的企業(yè),都面臨著缺乏數(shù)學建模工程師的窘?jīng)r。而敏迭求解器,通過AI工程師Copilot這個優(yōu)化套件,可以將客戶用自然語言描述的業(yè)務問題自動建模,再調(diào)用求解器,對于許多沒有足夠建模工程能力的客戶而言,敏迭的這一功能幫了大忙。
此外,達摩院自研的建模語言MAPL語法接近數(shù)學語言,易學易寫易讀易維護;AI調(diào)參器Tuner結合深度學習技術,幫助運籌優(yōu)化工程師自動搜索求解器最佳參數(shù)組合,提升求解器求解性能;“運籌優(yōu)化 + AI智能”雙決策引擎 開發(fā)平臺Studio,可一站式解決數(shù)據(jù)接入、算力管理、持續(xù)評測、方案沉淀等開發(fā)需求,平臺上有豐富的求解案例源代碼示例,用戶可以快速掌握。
這一系列優(yōu)化套件,都是在降低求解器的使用門檻,讓各行各業(yè)的企業(yè)、開發(fā)者盡快上手。
目前,敏迭已推廣到了阿里集團內(nèi)部多個業(yè)務場景,包括云計算資源調(diào)度、金融資金分配、新零售智能營銷等。在外部,敏迭則落地電力調(diào)度、航班編排、高端制造等關鍵領域。
比如,在電力調(diào)度上,達摩院已與中國南方電網(wǎng)電力調(diào)度控制中心合作發(fā)布“電力調(diào)度智能決策平臺”,幫助南網(wǎng)總調(diào)實現(xiàn)從15分鐘到秒級的調(diào)度,準確率媲美經(jīng)驗豐富的調(diào)度員。
在儲能調(diào)度方面,敏迭落地國家電投“天樞一號”智慧能源物聯(lián)網(wǎng)平臺,助力打造國內(nèi)首個面向工商業(yè)儲能的優(yōu)化求解子系統(tǒng),將充放電策略求解時間從小時級壓縮到分鐘級,工廠月度電費減少30%。
在石化行業(yè),敏迭能夠建立大規(guī)模池化問題的數(shù)學優(yōu)化模型,利用非線性規(guī)劃求解器求解非凸二次規(guī)劃問題,對比國外某知名求解器,求解時間從163.8.4秒縮短至155.8秒,求解成功率從63%提升至74%。
在金融資產(chǎn)管理領域,敏迭從預處理開始去縮減模型規(guī)模,引入Jacobi ADMM并行計算技術加速整體計算效率,幫助將10億級參數(shù)的全鏈優(yōu)化求解壓縮到半小時內(nèi)完成。
在可見的未來,求解器將滲透到各行各業(yè)的關鍵環(huán)節(jié),從智能設備的研發(fā)與設計,到生產(chǎn)線的自動化與智能化改造,再到供應鏈的優(yōu)化與管理、低空經(jīng)濟的路徑規(guī)劃,無處不在。它將助力企業(yè)精準控制生產(chǎn)過程,提高資源利用效率,降低能耗和排放,推動綠色制造和可持續(xù)發(fā)展。
世界500強企業(yè)中,已經(jīng)有85%在使用求解器作出最優(yōu)決策。在中國,越來越多的企業(yè)將會開始熟練使用這一產(chǎn)業(yè)升級的“隱形引擎”。
03
結語
這是一個極其小眾的領域,敏迭剛剛開始研發(fā)時,印臥濤覺得“全世界能做這件事的只有100多人?!?/p>
這也是一場極其低調(diào)的比賽,除了求解器的相關從業(yè)和研究者,大眾層面沒有太多的熱度和關注。
但就在這個小小的角落,在這一小批人的努力下,中國的求解器正在追趕和超越著國際領先水平。
求解器將成為中國產(chǎn)業(yè)升級的最大助力之一。為眾人抱薪者,他們的努力永不會被埋沒。
雷峰網(wǎng)文章,請勿轉載
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權禁止轉載。詳情見轉載須知。