10月19日，阿爾法狗重新進(jìn)化，以100:0擊敗李世石老版本

倫敦當(dāng)?shù)貢r(shí)間10月18日18: 00，AlphaGo再次出現(xiàn)在世界頂級(jí)科學(xué)雜志《自然》上。

一年多前，AlphaGo是2016年1月28日本期的封面文章。Deepmind公司發(fā)表了一篇沉重的論文，介紹了這個(gè)擊敗歐洲圍棋冠軍范輝的人工智能程序。

今年5月，在以3:0擊敗中國棋手柯潔后，AlphaGo宣布退役，但DeepMind并沒有停止研究。倫敦當(dāng)?shù)貢r(shí)間10月18日，DeepMind團(tuán)隊(duì)宣布了最強(qiáng)版的AlphaGo，代號(hào)AlphaGo Zero。它獨(dú)特的秘密是“自學(xué)”。而且從一張白紙開始，零基礎(chǔ)學(xué)習(xí)，短短3天就成為頂尖高手。

據(jù)該團(tuán)隊(duì)介紹，AlphaGo Zero已經(jīng)超越了AlphaGo的所有前代版本。AlphaGo Zero以100:0的壓倒性記錄擊敗了曾經(jīng)贏得韓國棋手李世石的AlphaGo版本。DeepMind團(tuán)隊(duì)于10月18日以論文的形式在《自然》雜志上發(fā)表了關(guān)于AlphaGo Zero的相關(guān)研究。

“AlphaGo兩年的成績(jī)令人震驚?，F(xiàn)在AlphaGo Zero是我們最強(qiáng)的版本，進(jìn)步了很多。零提高了計(jì)算效率，并且不使用任何人工圍棋數(shù)據(jù)，”阿爾法圍棋之父、深度思維聯(lián)合創(chuàng)始人兼首席執(zhí)行官戴密斯·哈薩比斯說?！白詈?，我們想利用它的算法突破來幫助解決各種緊迫的現(xiàn)實(shí)世界問題，比如蛋白質(zhì)折疊或設(shè)計(jì)新材料。如果我們能夠通過AlphaGo在這些問題上取得進(jìn)展，那么它就有潛力促進(jìn)人們對(duì)生活的理解，并以積極的方式影響我們的生活。”

不再受人類知識(shí)的限制，只使用4 TPU

以前版本的AlphaGo結(jié)合了數(shù)百萬人類圍棋專家的棋譜和監(jiān)督學(xué)習(xí)來訓(xùn)練自己。

在擊敗人類圍棋職業(yè)高手之前，它已經(jīng)訓(xùn)練了幾個(gè)月，依靠多臺(tái)機(jī)器和48 TPU。

AlphaGo Zero的能力在此基礎(chǔ)上進(jìn)行了質(zhì)的提升。最大的區(qū)別是它不再需要人類的數(shù)據(jù)。也就是說，它從一開始就沒有接觸過人類象棋。R&D隊(duì)只是讓它在棋盤上自由下棋，然后玩自我游戲。值得一提的是，AlphaGo Zero也非常“低碳”，只用一機(jī)四TPU，大大節(jié)約了資源。

AlphaGo Zero強(qiáng)化學(xué)習(xí)下的自我游戲。

經(jīng)過幾天的訓(xùn)練，AlphaGo Zero已經(jīng)完成了近500萬個(gè)自我游戲，并且已經(jīng)能夠超越人類，擊敗所有以前版本的AlphaGo。DeepMind團(tuán)隊(duì)在官方博客上說，Zero是用更新的神經(jīng)網(wǎng)絡(luò)和搜索算法進(jìn)行重組的，隨著訓(xùn)練的深入，系統(tǒng)的性能一點(diǎn)點(diǎn)提高。自我博弈的結(jié)果越來越好，同時(shí)神經(jīng)網(wǎng)絡(luò)也變得更加精確。

阿爾法零號(hào)獲取知識(shí)的過程

“這些技術(shù)細(xì)節(jié)之所以比前一個(gè)版本更強(qiáng)，是因?yàn)槲覀儾辉偈苋祟愔R(shí)的限制，它可以借鑒——AlphaGo本身，Go領(lǐng)域的最高玩家。”AlphaGo團(tuán)隊(duì)負(fù)責(zé)人大衛(wèi)·席爾瓦(David silva)表示。據(jù)大衛(wèi)·席爾瓦說，AlphaGo Zero通過使用一種新的強(qiáng)化學(xué)習(xí)方法把自己變成了一名教師。一開始系統(tǒng)連Go是什么都不知道，而是從單個(gè)神經(jīng)網(wǎng)絡(luò)開始，通過神經(jīng)網(wǎng)絡(luò)強(qiáng)大的搜索算法自己下棋。

隨著自博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整提高預(yù)測(cè)下一步的能力，最終贏得博弈。更有甚者，隨著訓(xùn)練的深入，DeepMind團(tuán)隊(duì)發(fā)現(xiàn)AlphaGo Zero也獨(dú)立發(fā)現(xiàn)了游戲規(guī)則，走出了一條新的策略，給圍棋這個(gè)古老的游戲帶來了新的感悟。

經(jīng)過三天的自學(xué)，我打敗了老AlphaGo

除了以上區(qū)別，AlphaGo Zero在三個(gè)方面與之前的版本有明顯的不同。

AlphaGo-Zero培訓(xùn)時(shí)間表

首先，AlphaGo Zero只使用棋盤上的黑白字符作為輸入，而上一代則包含了少量人工設(shè)計(jì)的特征輸入。

其次，AlphaGo Zero只使用單一的神經(jīng)網(wǎng)絡(luò)。在之前的版本中，AlphaGo使用“策略網(wǎng)絡(luò)”來選擇下一步棋，使用“價(jià)值網(wǎng)絡(luò)”來預(yù)測(cè)每一步棋之后的贏家。在新版本中，這兩個(gè)神經(jīng)網(wǎng)絡(luò)被結(jié)合成一個(gè)，這樣它可以得到更有效的訓(xùn)練和評(píng)估。

再次，AlphaGo Zero沒有使用快速隨機(jī)行走的方法。在以前的版本中，AlphaGo使用快速行走的方法從當(dāng)前的情況來預(yù)測(cè)哪個(gè)玩家會(huì)贏得游戲。相反，新版本依靠其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來評(píng)估下棋的情況。

AlphaGo幾個(gè)版本的排名。

哈薩比斯和席爾瓦認(rèn)為，這些差異有助于新版本的AlphaGo改進(jìn)其系統(tǒng)，而算法的改變則使系統(tǒng)更強(qiáng)大、更有效。

僅僅經(jīng)過三天的自我訓(xùn)練，AlphaGo Zero就以100:0的戰(zhàn)績(jī)擊敗了之前擊敗李世石的舊版AlphaGo。經(jīng)過40天的自我訓(xùn)練，AlphaGo Zero再次擊敗AlphaGo Master?！按髱煛贝驍×耸澜珥敿鈬暹x手，甚至包括世界第一的柯潔。

對(duì)于以利用人工智能推動(dòng)人類社會(huì)進(jìn)步為使命的DeepMind來說，Go并不是AlphaGo的終極意義。他們的目標(biāo)始終是使用AlphaGo創(chuàng)建一個(gè)宇宙探索的通用終極工具。隨著AlphaGo Zero的推廣，DeepMind看到了利用人工智能技術(shù)改變?nèi)祟惷\(yùn)的突破。目前，他們正積極與英國醫(yī)療機(jī)構(gòu)和電力能源部門合作，提高醫(yī)療效率和能源效率。