機(jī)器的心臟專(zhuān)欄

機(jī)器心臟編輯部

用一篇文章梳理騰訊QQ瀏覽器2021AI算法比賽獲勝方案。

持續(xù)了兩個(gè)多月的騰訊QQ瀏覽器2021AI算法大會(huì)[9]已經(jīng)結(jié)束，大會(huì)自2021年8月15日開(kāi)始以來(lái)，受到了全世界AI算法愛(ài)好者和業(yè)界的關(guān)注。整個(gè)慶州在68天內(nèi)覆蓋了全世界279個(gè)城市，共吸引了來(lái)自276個(gè)其他高校、企業(yè)、社會(huì)的1853名算法精英，組成了852支隊(duì)伍出戰(zhàn)。其中進(jìn)入決賽的TOP 20隊(duì)包括北京大學(xué)、清華大學(xué)、復(fù)旦大學(xué)、香港科技大學(xué)、中科院大學(xué)、華南理工大學(xué)和浙江大學(xué)。

騰訊QQ瀏覽器將為優(yōu)秀參賽團(tuán)隊(duì)提供總計(jì)41.7萬(wàn)元人民幣的總上市地，除此之外，各賽道前15名的團(tuán)隊(duì)將獲得額外的教授直通復(fù)試卡，前8名團(tuán)隊(duì)可以直接面卡獲得QQ瀏覽器實(shí)習(xí)生。(威廉莎士比亞，美國(guó)作家)。

第一次AI算法比賽議程設(shè)置了“多模態(tài)視頻相似性”和“自動(dòng)超參數(shù)優(yōu)化”兩條賽道，下面是“自動(dòng)超參數(shù)優(yōu)化”賽道冠軍隊(duì)、北京大學(xué)隊(duì)PKU-DAIR的方案共享。(PKU-DAIR隊(duì)成員：姜懷均、沈昱、李陽(yáng))

團(tuán)隊(duì)介紹

PKU-DAIR團(tuán)隊(duì)的3名成員來(lái)自北京大學(xué)崔斌教授DAIR研究所的AutoML自動(dòng)化機(jī)器學(xué)習(xí)項(xiàng)目組。團(tuán)隊(duì)研究方向包括超參數(shù)優(yōu)化(HPO)、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索(NAS)、自動(dòng)化機(jī)器學(xué)習(xí)系統(tǒng)(AutoML System)等。小組不僅在國(guó)際首腦會(huì)議上發(fā)表了多篇論文，還在Github上開(kāi)放了黑匣子優(yōu)化系統(tǒng)OpenBox[1][7]、自動(dòng)化機(jī)器學(xué)習(xí)系統(tǒng)MindWare[2][8]等，以提高AutoML技術(shù)的易用性和可用性。

在這次自動(dòng)化超參數(shù)優(yōu)化賽道上，團(tuán)隊(duì)將以實(shí)驗(yàn)室自行開(kāi)發(fā)的開(kāi)源黑盒優(yōu)化系統(tǒng)OpenBox為基礎(chǔ)參加。預(yù)賽中使用了OpenBox系統(tǒng)的貝葉斯優(yōu)化(Bayesian optimization)算法，在決賽的基礎(chǔ)上添加了早期停止機(jī)制。比賽代碼已經(jīng)在Github上開(kāi)源了[3]。詳細(xì)說(shuō)明如下。

Rank 1st游戲代碼開(kāi)源地址：黑箱優(yōu)化系統(tǒng)OpenBox地址

預(yù)選算法簡(jiǎn)介

理解比賽問(wèn)題

信息流推薦業(yè)務(wù)場(chǎng)景中常見(jiàn)的模型或戰(zhàn)略效果依賴(lài)于“超參數(shù)”，而“超參數(shù)”設(shè)置往往依賴(lài)于手工經(jīng)驗(yàn)協(xié)調(diào)，不僅效率低下的維護(hù)成本高，而且難以取得更好的效果。因此，本場(chǎng)比賽問(wèn)題以超參數(shù)優(yōu)化為主題，從實(shí)際業(yè)務(wù)場(chǎng)景問(wèn)題出發(fā)，根據(jù)脫敏后的數(shù)據(jù)集，評(píng)估各參賽隊(duì)伍的超參數(shù)優(yōu)化算法。

參與者必須提交由超參數(shù)生成的算法代碼。算法必須在每一輪中提供一組超參數(shù)。裁判程序返回與超參數(shù)相對(duì)應(yīng)的reward。參與者的算法必須在有限的迭代次數(shù)和時(shí)間內(nèi)，reward找到一組盡可能大的超級(jí)參數(shù)，并根據(jù)發(fā)現(xiàn)的最大reward計(jì)算排名。

對(duì)于此次比賽，優(yōu)化程序應(yīng)在每輪同時(shí)推薦5個(gè)超參數(shù)配置，共推薦20次，即共搜索100個(gè)超參數(shù)配置。對(duì)每個(gè)超參數(shù)配置進(jìn)行完整的資源驗(yàn)證，在游戲的問(wèn)題抽象中，不同超參數(shù)的驗(yàn)證時(shí)間相同。

現(xiàn)有研究表明，貝葉斯優(yōu)化是SOTA在超參數(shù)優(yōu)化(黑匣子優(yōu)化)問(wèn)題上的方法，比賽場(chǎng)景的超參數(shù)空間維度不超過(guò)6維，不是超一維問(wèn)題，更適合貝葉斯優(yōu)化方法，因此選擇貝葉斯優(yōu)化作為超前搜索算法。此外，問(wèn)題中的所有超參數(shù)都是連續(xù)(離散浮動(dòng))超參數(shù)，這決定了超參數(shù)空間定義方法、貝葉斯優(yōu)化代理模型和優(yōu)化程序的選擇。下次再單獨(dú)說(shuō)明。

算法關(guān)鍵技術(shù)3354貝葉斯優(yōu)化模塊介紹

貝葉斯優(yōu)化簡(jiǎn)介

超級(jí)參數(shù)優(yōu)化是常見(jiàn)的黑盒優(yōu)化問(wèn)題。也就是說(shuō)，對(duì)于目標(biāo)函數(shù)(超級(jí)參數(shù)-獎(jiǎng)勵(lì)函數(shù))，特定的表達(dá)式或派生信息是未知的，可以通過(guò)嘗試輸入得到輸出來(lái)估計(jì)目標(biāo)函數(shù)的內(nèi)部情況。

貝葉斯優(yōu)化是解決黑盒優(yōu)化問(wèn)題的迭代框架，優(yōu)化過(guò)程包括以下步驟：

使用代理模型(surrogate model)建模和擬合現(xiàn)有觀測(cè)歷史數(shù)據(jù)(嘗試的超參數(shù)及其獎(jiǎng)勵(lì))。使用收集函數(shù)(acquisition function)評(píng)估搜索空間中的超參數(shù)，并平衡搜索和利用。優(yōu)化收集函數(shù)，找到驗(yàn)證價(jià)值最大的(將收集函數(shù)值設(shè)置為最大值)

）的下一組超參數(shù)；

在目標(biāo)函數(shù)上評(píng)估超參數(shù)，得到獎(jiǎng)勵(lì)；

將新評(píng)估的超參數(shù)和結(jié)果加入觀測(cè)歷史數(shù)據(jù)，重復(fù)以上步驟。

注：以下代碼分為文字版和圖示版，代碼以圖示版為準(zhǔn)。

貝葉斯優(yōu)化算法封裝在 OpenBox 系統(tǒng)中，代碼實(shí)現(xiàn)的主要流程如下：

# 使用貝葉斯優(yōu)化得到超參數(shù)配置推薦 def get_suggestions(self, history_container, batch_size): # ... # 基于觀測(cè)歷史數(shù)據(jù)，訓(xùn)練貝葉斯優(yōu)化代理模型 (X, Y) # ... # 更新采集函數(shù)（使用EI函數(shù)時(shí)，要更新當(dāng)前最優(yōu)觀測(cè)值） (eta=incumbent_value, ...) # 使用優(yōu)化器優(yōu)化采集函數(shù)，得到使采集函數(shù)值最大的一個(gè)（一組）超參數(shù) challengers = (...) # ... return batch_configs_list # 依據(jù)并行算法，得到下一輪需要驗(yàn)證的超參數(shù)

代碼以圖示為準(zhǔn)

超參數(shù)空間定義

首先，我們使用 ConfigSpace 庫(kù) [4] 定義超參數(shù)空間。由于賽題中的超參數(shù)均為離散浮點(diǎn)型，并可近似為等間距分布，因此使用 Int 型定義超參數(shù)（本質(zhì)上和使用 Float 定義相同，但避免了賽題中超參數(shù)取值范圍邊緣可能出現(xiàn)不同間距的問(wèn)題）。在 ConfigSpace 庫(kù)中，F(xiàn)loat 型和 Int 型超參數(shù)均被視作連續(xù)型，在執(zhí)行優(yōu)化時(shí)會(huì)自動(dòng)將參數(shù)范圍縮放至[0, 1]。

初始化方法

貝葉斯優(yōu)化需要一定數(shù)量的歷史數(shù)據(jù)才能啟動(dòng)，我們使用了一種貪心法生成初始超參數(shù)配置。該方法從隨機(jī)候選配置中，逐步挑選距離已有配置最遠(yuǎn)的配置加入初始配置集合。使用該方法進(jìn)行初始化能更好地探索超參數(shù)空間，經(jīng)測(cè)試效果稍好于完全隨機(jī)初始化方法。初始化配置數(shù)設(shè)置為 10 個(gè)。該方法集成在 OpenBox 系統(tǒng)中，可通過(guò) init_strategy="random_explore_first" 調(diào)用。

代理模型

貝葉斯優(yōu)化中的代理模型（surrogate model）有多種選擇，包括高斯過(guò)程（Gaussian process）、概率隨機(jī)森林（probabilistic random forest）、Tree Parzen Estimator（TPE）等，其中高斯過(guò)程在連續(xù)超參數(shù)空間上（如數(shù)學(xué)問(wèn)題）優(yōu)化效果較好，概率隨機(jī)森林在含有分類(lèi)超參數(shù)的空間上優(yōu)化效果較好。本次比賽只包含連續(xù)型超參數(shù)，經(jīng)測(cè)試，高斯過(guò)程作為代理模型效果最好。高斯過(guò)程使用 OpenBox 系統(tǒng)默認(rèn)的 Matern5/2 核，核超參數(shù)通過(guò)最大似然 (maximize log likelihood) 得到。

采集函數(shù)與優(yōu)化

我們使用常用的 Expected Improvement（EI）函數(shù)作為貝葉斯優(yōu)化的采集函數(shù)（acquisition function）。在優(yōu)化采集函數(shù)時(shí)，我們使用系統(tǒng)中的 "random_scipy" 優(yōu)化器。該優(yōu)化器在結(jié)合局部搜索與隨機(jī)采樣的基礎(chǔ)上，使用 L-BFGS-B 算法對(duì)采集函數(shù)執(zhí)行優(yōu)化。測(cè)試表明，相較于單純使用隨機(jī)采樣，該方法能對(duì)采集函數(shù)進(jìn)行更為充分的優(yōu)化，從而更大程度發(fā)揮 GP 模型和 EI 函數(shù)的潛能。

其他

傳統(tǒng)的貝葉斯優(yōu)化每輪只能推薦一個(gè)超參數(shù)配置，因此設(shè)計(jì)并行推薦方法是一個(gè)值得考慮的問(wèn)題。我們嘗試了系統(tǒng)中實(shí)現(xiàn)的并行貝葉斯方法，包括 "median_imputation" 中位數(shù)插補(bǔ)法，即使用歷史觀察結(jié)果的中位數(shù)，填補(bǔ)并行 batch 中推薦配置的性能，重新訓(xùn)練代理模型并得到下一個(gè)并行推薦配置，以及 "local_penalization" 局部懲罰法，對(duì)并行已推薦配置在采集函數(shù)上施加局部懲罰，這兩種方法的目的都是提高對(duì)超參數(shù)空間的探索性。不過(guò)經(jīng)過(guò)測(cè)試，在本次比賽問(wèn)題上這些方法的效果不佳，最終我們采用多次優(yōu)化采集函數(shù)并去重的方式執(zhí)行并行推薦，達(dá)到了較好的性能。

此外，為增大貝葉斯優(yōu)化的探索性，保證算法收斂，我們?cè)O(shè)置每次推薦時(shí)使用隨機(jī)搜索的概率為 0.1。

代碼實(shí)現(xiàn)

初賽代碼僅需調(diào)用 OpenBox 系統(tǒng)中的并行貝葉斯優(yōu)化器 SyncBatchAdvisor，即可實(shí)現(xiàn)上述功能：

from openbox import SyncBatchAdvisor = SyncBatchAdvisor( config_space=, batch_size=5, batch_strategy='reoptimization', initial_trials=10, init_strategy='random_explore_first', rand_prob=0.1, surrogate_type='gp', acq_type='ei', acq_optimizer_type='random_scipy', task_id='thpo', random_state=47, )

代碼以圖示為準(zhǔn)

每輪執(zhí)行推薦時(shí)，調(diào)用 advisor 的 get_suggestions 接口：

def suggest(self, suggestion_history, n_suggestions): history_container = (suggestion_history) next_configs = .get_suggestions(n_suggestions, history_container) next_suggestions = [(conf) for conf in next_configs] return next_suggestions

代碼以圖示為準(zhǔn)

決賽算法介紹

賽題理解

決賽問(wèn)題在初賽的基礎(chǔ)上，對(duì)每個(gè)超參數(shù)配置提供 14 輪的多精度驗(yàn)證結(jié)果，供算法提前對(duì)性能可能不佳的配置驗(yàn)證過(guò)程執(zhí)行早停。同時(shí)，總體優(yōu)化預(yù)算時(shí)間減半，最多只能全量驗(yàn)證 50 個(gè)超參數(shù)配置，因此問(wèn)題難度大大增加。如何設(shè)計(jì)好的早停算法，如何利用多精度驗(yàn)證數(shù)據(jù)是優(yōu)化器設(shè)計(jì)的關(guān)鍵。

我們對(duì)本地公開(kāi)的兩個(gè)數(shù)據(jù)集進(jìn)行了探索，發(fā)現(xiàn)了一些有趣的性質(zhì)：

• 對(duì)于任意超參數(shù)配置，其第 14 輪的獎(jiǎng)勵(lì)均值位于前 13 輪置信區(qū)間內(nèi)的概率為 95%。
• 對(duì)于任意超參數(shù)配置，其前 13 輪中任意一輪的均值比第 14 輪均值大的概率為 50%。
• 對(duì)于任意超參數(shù)配置，其 14 輪的置信區(qū)間是不斷減小的，但均值曲線是任意波動(dòng)的。

我們也對(duì)兩兩超參數(shù)配置間的關(guān)系進(jìn)行了探索，比較了兩兩配置間前 13 輪的均值大小關(guān)系和第 14 輪的均值大小關(guān)系的一致性，發(fā)現(xiàn)：

• 在所有超參數(shù)配置之間，部分驗(yàn)證（1-13 輪）和全量驗(yàn)證（14 輪）均值大小關(guān)系一致的概率大于 95%。
• 在空間中最終性能前 1% 的超參數(shù)配置之間，這種一致性大約在 50% 到 70% 之間。

下圖為 data-30 空間中最終獎(jiǎng)勵(lì)排名前 2 的超參數(shù)和隨機(jī) 8 個(gè)超參數(shù)的獎(jiǎng)勵(lì) - 輪次關(guān)系：

圖：data-30 搜索空間中 2 個(gè)最好配置和 8 個(gè)隨機(jī)配置的獎(jiǎng)勵(lì) - 輪數(shù)曲線，包含置信上界（藍(lán)色）、均值（紅色）、置信下界（綠色）曲線。

我們?cè)诒荣愰_(kāi)源代碼倉(cāng)庫(kù)中提供了上述 “數(shù)據(jù)探索” 代碼。

上述數(shù)據(jù)探索結(jié)果表明，根據(jù)前 13 輪的置信區(qū)間，我們可以推測(cè)第 14 輪獎(jiǎng)勵(lì)均值的位置。利用前 13 輪的均值大小關(guān)系，我們可以估計(jì)第 14 輪最終均值的大小關(guān)系，但是由于數(shù)據(jù)噪音的存在，排名靠前的超參數(shù)配置大小關(guān)系無(wú)法通過(guò)部分驗(yàn)證結(jié)果預(yù)估。由此我們?cè)O(shè)計(jì)了兩種早停算法，分別是基于置信區(qū)間的早停和基于排名的早停，將在下一部分詳細(xì)描述。

過(guò)于激進(jìn)的早停策略在比賽中仍然存在問(wèn)題。如果使用貝葉斯優(yōu)化只對(duì)全量驗(yàn)證數(shù)據(jù)建模，由于總體優(yōu)化預(yù)算時(shí)間很少，早停會(huì)減少可用于建模的數(shù)據(jù)量，使得模型不能得到充分訓(xùn)練。為解決這一問(wèn)題，我們引入插值方法，增加模型可訓(xùn)練數(shù)據(jù)。

基于以上考量，最終我們的決賽算法在初賽貝葉斯優(yōu)化算法的基礎(chǔ)上，前期執(zhí)行完整貝葉斯優(yōu)化使模型得到較為充分的擬合，后期使用早停技術(shù)與插值法，加速超參數(shù)驗(yàn)證與搜索過(guò)程。下面將對(duì)早停模塊做詳細(xì)介紹。

算法核心技術(shù)——早停模塊介紹

早停方法

由于超參數(shù)配置之間的部分驗(yàn)證輪次均值大小關(guān)系與最終均值大小關(guān)系存在一定的相關(guān)性，我們受異步多階段早停算法 ASHA[5]的啟發(fā)，設(shè)計(jì)了基于排名的早停算法：一個(gè)超參數(shù)如果到達(dá)需要判斷早停的輪次，就計(jì)算其性能均值處于歷史中同一輪次的超參數(shù)性能均值的排名，如果位于前 1/eta，則繼續(xù)驗(yàn)證，否則執(zhí)行早停。

依據(jù) 95% 置信區(qū)間的含義，我們還設(shè)計(jì)了另一種早停方法，即使用置信區(qū)間判斷當(dāng)前超參數(shù)配置是否仍有驗(yàn)證價(jià)值。如果某一時(shí)刻，當(dāng)前驗(yàn)證超參數(shù)的置信區(qū)間上界差于已完全驗(yàn)證的性能前 10 名配置的均值，則代表至少有 95% 的可能其最終均值差于前 10 名的配置，故進(jìn)行早停。使用本地?cái)?shù)據(jù)驗(yàn)證，以空間中前 50 名的配置對(duì)前 1000 名的配置使用該方法進(jìn)行早停，早停準(zhǔn)確率在 99% 以上。

經(jīng)過(guò)測(cè)試，結(jié)合貝葉斯優(yōu)化時(shí)兩種方法效果近似，我們最終選擇使用基于排名的早停方法。無(wú)論是哪種方法，都需要設(shè)計(jì)執(zhí)行早停的輪次。早停越早越激進(jìn)，節(jié)省的驗(yàn)證時(shí)間越多，但是得到的數(shù)據(jù)置信度越低，后續(xù)執(zhí)行插值時(shí)訓(xùn)練的模型就越不準(zhǔn)確。為了權(quán)衡早停帶來(lái)的時(shí)間收益和高精度驗(yàn)證帶來(lái)的數(shù)據(jù)收益，我們選擇只在第 7 輪（總共 14 輪）時(shí)判斷每個(gè)配置是否應(yīng)當(dāng)早停。早停判斷準(zhǔn)則依據(jù) eta=2 的 ASHA 算法，即如果當(dāng)前配置均值性能處于已驗(yàn)證配置第 7 輪的后 50%，就進(jìn)行早停。

以下代碼展示了基于排名的早停方法。首先統(tǒng)計(jì)各個(gè)早停輪次下已驗(yàn)證配置的性能并進(jìn)行排序（比賽中我們使用早停輪次為第 7 輪），然后判斷當(dāng)前配置是否處于前 1/eta（比賽中為前 1/2），否則執(zhí)行早停：

# 基于排名的早停方法，prune_eta=2，prune_iters=[7] def prune_mean_rank(self, iteration_number, running_suggestions, suggestion_history): # 統(tǒng)計(jì)早停階段上已驗(yàn)證配置的性能并排序 bracket = dict() for n_iteration in ['prune_iters']: bracket[n_iteration] = list() for suggestion in running_suggestions + suggestion_history: n_history = len(suggestion['reward']) for n_iteration in ['prune_iters']: if n_history >= n_iteration: bracket[n_iteration].append(suggestion['reward'][n_iteration - 1]['value']) for n_iteration in ['prune_iters']: bracket[n_iteration].sort(reverse=True) # maximize # 依據(jù)當(dāng)前配置性能排名，決定是否早停 stop_list = [False] * len(running_suggestions) for i, suggestion in enumerate(running_suggestions): n_history = len(suggestion['reward']) if n_history == CONFIDENCE_N_ITERATION: # 當(dāng)前配置已完整驗(yàn)證，無(wú)需早停 print('full observation. pass', i) continue if n_history not in ['prune_iters']: # 當(dāng)前配置不處于需要早停的階段 print('n_history: %d not in prune_iters: %s. pass %d.' % (n_history, ['prune_iters'], i)) continue rank = bracket[n_history].index(suggestion['reward'][-1]['value']) total_cnt = len(bracket[n_history]) # 判斷當(dāng)前配置性能是否處于前1/eta，否則早停 if rank / total_cnt >= 1 / ['prune_eta']: print('n_history: %d, rank: %d/%d, eta: 1/%s. PRUNE %d!' % (n_history, rank, total_cnt, ['prune_eta'], i)) stop_list[i] = True else: print('n_history: %d, rank: %d/%d, eta: 1/%s. continue %d.' % (n_history, rank, total_cnt, ['prune_eta'], i)) return stop_list

代碼以圖示為準(zhǔn)

基于置信區(qū)間的早停方法可見(jiàn)我們的比賽開(kāi)源代碼庫(kù)。

數(shù)據(jù)建模方法

對(duì)于貝葉斯優(yōu)化的數(shù)據(jù)建模，我們嘗試了多精度集成代理模型 MFES-HB[6]擬合多精度觀測(cè)數(shù)據(jù)。該方法雖然能應(yīng)對(duì)低精度噪聲場(chǎng)景，但在決賽極其有限的優(yōu)化時(shí)間限制內(nèi)，可能無(wú)法快速排除噪聲的干擾，導(dǎo)致效果不如僅使用最高精度數(shù)據(jù)建模。

我們最終選擇只利用最高精度數(shù)據(jù)進(jìn)行建模。為了彌補(bǔ)早停造成的高精度數(shù)據(jù)損失，我們引入插值方法，增加用于模型訓(xùn)練的數(shù)據(jù)量，具體來(lái)說(shuō)，就是對(duì)早停的配置，設(shè)置一個(gè)完整驗(yàn)證時(shí)的性能均值，插入優(yōu)化歷史執(zhí)行建模。對(duì)于插入值的選取，我們使用已完整驗(yàn)證配置的最終均值中位數(shù)進(jìn)行插值。

以下為插值代碼示例：

def set_impute_value(self, running_suggestions, suggestion_history): value_list = [] for suggestion in running_suggestions + suggestion_history: n_history = len(suggestion['reward']) if n_history != CONFIDENCE_N_ITERATION: continue value_li(suggestion['reward'][-1]['value']) = np.median(value_list).item()

代碼以圖示為準(zhǔn)

總結(jié)

本文介紹了自動(dòng)化超參數(shù)優(yōu)化賽道的冠軍方案，包括貝葉斯優(yōu)化算法和早停方法。很幸運(yùn)能夠拿到此次比賽的冠軍。感謝賽事主辦方為我們提供了富有現(xiàn)實(shí)意義的比賽場(chǎng)景，讓我們積累了寶貴的比賽經(jīng)驗(yàn)和超參數(shù)優(yōu)化實(shí)際經(jīng)驗(yàn)。希望我們的分享能夠?qū)Υ蠹矣兴鶐椭?/p>

引用

[1] 黑盒優(yōu)化系統(tǒng) OpenBox

[2] 自動(dòng)化機(jī)器學(xué)習(xí)系統(tǒng) MindWare

[3] 比賽冠軍源碼

[4]

[5] Liam Li, Kevin Jamieson, Afshin Rostamizadeh, Ekaterina Gonina, Jonathan Bentzur, Moritz Hardt, Benjamin Recht, and Ameet Talwalkar. 2020. A System for Massively Parallel Hyperparameter Tuning. Proceedings of Machine Learning and Systems 2 (2020), 230–246.

[6] Yang Li, Yu Shen, Jiawei Jiang, Jinyang Gao, Ce Zhang, and Bin Cui. 2021. MFES-HB: Efficient Hyperband with Multi-Fidelity Quality Measurements. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35. 8491–8500.

[7] Yang Li, Yu Shen, Wentao Zhang, Yuanwei Chen, Huaijun Jiang, Mingchao Liu, Jiawei Jiang, Jinyang Gao, Wentao Wu, Zhi Yang, Ce Zhang, and Bin Cui. 2021. OpenBox: A Generalized Black-box Optimization Service. Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining (2021).

[8] Yang Li, Yu Shen, Wentao Zhang, Jiawei Jiang, Bolin Ding, Yaliang Li, Jingren Zhou, Zhi Yang, Wentao Wu, Ce Zhang, and Bin Cui. 2021. VolcanoML: Speeding up End-to-End AutoML via Scalable Search Space Decomposition. Proceedings of VLDB Endowment 14 (2021), 2167–2176.

[9]QQ 瀏覽器 2021AI 算法大賽