0
| 本文作者： 我在思考中 | 2021-08-05 10:54 | 專題：KDD 2019 |
近日，由北京大學崔斌教授數(shù)據(jù)與智能實驗室（ Data and Intelligence Research LAB, DAIR）開發(fā)的通用黑盒優(yōu)化系統(tǒng) OpenBox 開源發(fā)布！
相比于SMAC3，Hyperopt等現(xiàn)有開源系統(tǒng)，OpenBox支持更通用的黑盒優(yōu)化場景，包括多目標優(yōu)化，帶約束優(yōu)化場景等。在25個LightGBM調(diào)參任務上，OpenBox在7個對比系統(tǒng)中取得了平均1.25名(average rank)的優(yōu)異成績。
相關論文已經(jīng)被KDD 2021錄用，"OpenBox: A Generalized Black-box Optimization Service"。
研究背景
近年來，人工智能與機器學習備受關注，越來越多企業(yè)使用機器學習模型解決實際問題，如人臉識別、商品推薦等。在應用機器學習模型的過程中，模型超參數(shù)的選擇對模型性能有著至關重要的影響，因此超參數(shù)優(yōu)化問題成為了機器學習的重要挑戰(zhàn)之一。超參數(shù)優(yōu)化作為典型的黑盒優(yōu)化問題，對于優(yōu)化目標不存在具體表達式或梯度信息，且驗證代價較大。其目標是在有限的驗證次數(shù)內(nèi)，盡快找到全局最優(yōu)點。除超參數(shù)優(yōu)化外，黑盒優(yōu)化還擁有著廣泛的使用場景，如自動化A/B測試、數(shù)據(jù)庫參數(shù)調(diào)優(yōu)、處理器架構和芯片設計等。
現(xiàn)有開源的黑盒優(yōu)化系統(tǒng)往往存在以下問題：
1）使用場景有限。由于系統(tǒng)基于某個特定算法，一些系統(tǒng)只能支持單目標或是無約束的優(yōu)化問題；
2）性能不穩(wěn)定。基于優(yōu)化問題中 “no free lunch”定理，現(xiàn)有系統(tǒng)中特定的算法無法在所有任務中表現(xiàn)出色；
3）有限的可擴展性。現(xiàn)有系統(tǒng)無法有效利用歷史任務的結果以及分布式的驗證資源。
針對這些問題，北京大學DAIR實驗室AutoML項目組開發(fā)了一個名為 “OpenBox” 的輕量級黑盒優(yōu)化系統(tǒng)，針對通用的黑盒優(yōu)化場景，內(nèi)置豐富的優(yōu)化算法，并提供高效的并行支持，幫助用戶“open the box”，解決棘手的黑盒優(yōu)化問題。
項目Github開源地址：https://github.com/PKU-DAIR/open-box
OpenBox設計思路
為了解決現(xiàn)有系統(tǒng)上述的問題，OpenBox在設計上支持以下系統(tǒng)特性，包括：
多目標優(yōu)化：同時優(yōu)化多個不同（甚至相互沖突）的目標，例如同時優(yōu)化機器模型準確率和模型訓練/預測時間等。
帶約束條件優(yōu)化：最優(yōu)化目標的同時，要滿足（黑盒）條件，例如保證模型延遲不能高于某個閾值等。
多類型參數(shù)輸入（FIOC）：系統(tǒng)需要對多種待優(yōu)化參數(shù)類型提供支持，主要為FIOC，即浮點型、整型、序數(shù)型、類別型四類參數(shù)。例如超參數(shù)優(yōu)化中，SVM模型核函數(shù)用類別型表示，如果單純用整型代替序數(shù)型或類別型參數(shù)，將對參數(shù)附加額外的序關系，不利于模型優(yōu)化。
遷移學習：優(yōu)化任務之間可能存在一定相關性，例如過去可能在不同數(shù)據(jù)集上進行過相同模型的調(diào)參。基于這種觀察，系統(tǒng)需要能夠利用過去優(yōu)化的知識加速當前優(yōu)化任務的執(zhí)行效率。
分布式并行驗證：內(nèi)置算法支持并行運行，并且系統(tǒng)能夠有效利用給定的分布式資源。
作者將現(xiàn)有系統(tǒng)對上述特點的支持情況總結如上(其中△表示不支持通用場景)。從表格中不難看出，現(xiàn)有開源黑盒優(yōu)化系統(tǒng)無法支持特定的 使用場景，而 OpenBox 能夠提供完整的支持。
上圖展示了 OpenBox 的并行架構，包含五個主要組件。服務主機(Service Master)負責節(jié)點管理、負載均衡和錯誤恢復。任務數(shù)據(jù)庫(Task Database)保存所有任務的狀態(tài)。建議服務器(Suggestion Server)為每個任務生成新 配置。REST API 在用戶/工作者和建議服務器之間建立了橋梁。驗證工作者(Evaluation Worker)由用戶提供和擁有。
OpenBox內(nèi)置大量優(yōu)化組件，其中優(yōu)化算法包括貝葉斯優(yōu)化，遺傳算法等，如下圖所示：
為簡化用戶的使用門檻以及提高系統(tǒng)在各問題上的性能，OpenBox 默認采用一種自動選擇優(yōu)化算法的策略，根據(jù)輸入?yún)?shù)類型，目標個數(shù)，約束個數(shù)選擇合適的優(yōu)化算法。用戶也可基于自身需求，在系統(tǒng)推薦的基礎上自行選擇優(yōu)化策略。更多OpenBox的特性請參考開源文檔:
https://open-box.readthedocs.io/zh_CN/latest/overview/overview.html
目前OpenBox已在快手、阿里巴巴集團等企業(yè)落地部署與使用。
OpenBox性能驗證
1、收斂效果對比
為體現(xiàn)OpenBox在通用黑盒優(yōu)化問題上的性能，系統(tǒng)針對單/多目標，無/有約束，共4種場景對比OpenBox與現(xiàn)有算法與系統(tǒng)在優(yōu)化數(shù)學函數(shù)上的效果，實驗效果如下四圖所示。可以看出在不同的優(yōu)化場景中，OpenBox相較現(xiàn)有系統(tǒng)都有較為顯著的收斂效果提升。
2、端到端效果對比
針對實際場景，Openbox以表格分類的機器學習任務為例，與現(xiàn)有開源系統(tǒng)BoTorch，GPGlowOpt，Spearmint，HyperMapper，SMAC3，Hyperopt進行對比。為保證公平性，Openbox使用串行方式執(zhí)行任務，并匯報調(diào)參結果在測試集上的準確率。以下展示使用LightGBM與LibSVM兩個模型在25個OpenML公開數(shù)據(jù)集上的調(diào)參結果平均排名。值得注意的是，由于LibSVM的搜索空間復雜且包含條件選擇，OpenBox僅與支持復雜空間定義的SMAC3以及Hyperopt進行對比。
可以觀察到OpenBox在兩個模型調(diào)參中均獲得了優(yōu)異的性能。具體來說，OpenBox在Lightgbm調(diào)參中排名中位數(shù)為1.25，在LibSBM調(diào)參中為1.50，體現(xiàn)了OpenBox相比其它開源系統(tǒng)在超參數(shù)優(yōu)化任務中的優(yōu)勢。
(a) AutoML任務LightGBM優(yōu)化結果
(b) AutoML任務LibSVM優(yōu)化結果
3、并行性能對比
OpenBox 支持高效的并行優(yōu)化算法，使得在達到相同的優(yōu)化效果的前提下，所需要的時間代價大幅降低。下圖展示了使用 OpenBox 中并行優(yōu)化算法在 LightGBM 調(diào)參任務上的提升，使用的數(shù)據(jù)集為公開數(shù)據(jù)集 optdigits 。其中“Sync”表示同步并行，“Async” 表示異步并行，“-n” 表示并發(fā)度。
可以觀察到，相比串行優(yōu)化（Seq-1），并行能夠帶來很大程度上提升搜索效率。其中最顯著的提升來自于并發(fā)度為8的異步優(yōu)化算法，在達到與串行方法相同的優(yōu)化結果時僅使用1/80的時間預算，也即實現(xiàn)7.5×的加速比。（理想加速比為8×）
更多關于OpenBox的實驗結果，請參考OpenBox論文：
https://arxiv.org/abs/2106.00421
OpenBox使用示例
目前OpenBox支持主流平臺（Linux、macOS、Window）使用。用戶只需在代碼中定義空間，給出目標函數(shù)，構造優(yōu)化器即可運行。以下以一個簡單的多目標帶約束問題為例：
首先，我們需要import必要的組件：
接下來，我們定義一個包含兩個連續(xù)變量的搜索空間：
隨后，我們給出一個簡單的以上述兩個變量為輸入的目標函數(shù)。這個目標函數(shù)包含兩個目標以及兩個約束：
最后我們定義一個優(yōu)化器，傳入指定的參數(shù)后，只需調(diào)用run()即可開始優(yōu)化。
除了上述包調(diào)用的方法，OpenBox還支持用戶通過接口訪問服務，從服務端獲取推薦的參數(shù)配置，在本地執(zhí)行參數(shù)性能驗證，并通過訪問網(wǎng)站頁面，可視化監(jiān)視與管理優(yōu)化過程。
完整的示例以及更多的使用場景，歡迎參考OpenBox官方文檔：
https://open-box.readthedocs.io/zh_CN/latest/
論文地址：https://arxiv.org/abs/2106.00421
項目Github地址：https://github.com/PKU-DAIR/open-box
歡迎大家關注點贊！
參考文獻
[1]Yang Li, Yu Shen, Wentao Zhang, Yuanwei Chen, Huaijun Jiang, Mingchao Liu, Jiawei Jiang, Jinyang Gao, Wentao Wu, Zhi Yang, Ce Zhang, Bin Cui. "OpenBox: A Generalized Black-box Optimization Service." Proceedings of the 27rd ACM SIGKDD international conference on knowledge discovery and data mining. 2021.
[2] Bergstra, James, et al. "Algorithms for hyper-parameter optimization." Advances in neural information processing systems 24 (2011).
[3] Snoek, Jasper, Hugo Larochelle, and Ryan P. Adams. "Practical bayesian optimization of machine learning algorithms." Advances in neural information processing systems 25 (2012).
[4] Hutter, Frank, Holger H. Hoos, and Kevin Leyton-Brown. "Sequential model-based optimization for general algorithm configuration." International conference on learning and intelligent optimization. Springer, Berlin, Heidelberg, 2011.
[5] Balandat, Maximilian, et al. "BoTorch: A framework for efficient Monte-Carlo Bayesian optimization." Advances in Neural Information Processing Systems (NeurIPS) (2020).
[6] Knudde, Nicolas, et al. "GPflowOpt: A Bayesian optimization library using tensorflow." arXiv preprint arXiv:1711.03845 (2017).
[7] Golovin, Daniel, et al. "Google vizier: A service for black-box optimization." Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining. 2017.
[8] Nardi, Luigi, David Koeplinger, and Kunle Olukotun. "Practical design space exploration." 2019 IEEE 27th International Symposium on Modeling, Analysis, and Simulation of Computer and Telecommunication Systems (MASCOTS). IEEE, 2019.
[9] Falkner, Stefan, Aaron Klein, and Frank Hutter. "BOHB: Robust and efficient hyperparameter optimization at scale." International Conference on Machine Learning. PMLR, 2018.
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權禁止轉載。詳情見轉載須知。
專題
