AI繼圍棋之后繼續(xù)碾壓星際爭(zhēng)霸2 人類(lèi)職業(yè)玩家束手無(wú)策？

DeepMind AI碾壓《星際爭(zhēng)霸2》人類(lèi)職業(yè)玩家仍有改進(jìn)余地

在DeepMind的倫敦總部，人們正在觀(guān)看DeepMind的AI與人類(lèi)職業(yè)玩家對(duì)決

網(wǎng)易智能訊1月25日消息，谷歌旗下DeepMind開(kāi)發(fā)的人工智能AIphaStar在《星際爭(zhēng)霸2》（Starcraft II）中擊敗了兩位人類(lèi)職業(yè)玩家，這是AI領(lǐng)域的新里程碑。在YouTube和Twitch上播放的比賽中，AI玩家在連續(xù)10局中反復(fù)擊敗人類(lèi)。而在最后的對(duì)決中，職業(yè)選手格里戈?duì)柶?middot;“曼娜”·科明茲（Grzegorz“MaNa” Komincz）為人類(lèi)贏得了唯一的勝利。

相比人類(lèi)玩家，AI的優(yōu)劣勢(shì)很明顯

與兄弟AI AIphago登頂?shù)膰逅煌氖?，《星際爭(zhēng)霸2》是不完美信息系統(tǒng)，有著阻礙信息順利獲取的戰(zhàn)爭(zhēng)迷霧，除此之外，操作的單位數(shù)量和頻率較大，且存在多線(xiàn)作戰(zhàn)，需要同時(shí)兼顧后方經(jīng)營(yíng)，和前方多線(xiàn)戰(zhàn)事。顯然，在多線(xiàn)決策方面AI的優(yōu)勢(shì)要比線(xiàn)性思維的人類(lèi)要大得多。

Atari、圍棋和星際爭(zhēng)霸2的比較

DeepMind的研究聯(lián)席負(fù)責(zé)人戴維·西爾弗(David Silver)在賽后表示:“AI的歷史被打上了許多重大的、標(biāo)桿性勝利的印記。盡管還有很多工作要做，但我希望未來(lái)的人們?cè)诨仡?今天)時(shí)，認(rèn)為這是AI系統(tǒng)向前邁進(jìn)了一步的象征。”

在視頻游戲里擊敗人類(lèi)玩家似乎是AI開(kāi)發(fā)過(guò)程中的一個(gè)小插曲，但這也是一個(gè)重大的研究挑戰(zhàn)。《星際爭(zhēng)霸2》這樣的游戲比圍棋之類(lèi)棋盤(pán)游戲更難玩。在視頻游戲中，AI無(wú)法通過(guò)觀(guān)察每個(gè)棋子的移動(dòng)來(lái)計(jì)算下一步棋，它們必須實(shí)時(shí)做出反應(yīng)。

去年12月份的比賽截圖顯示，AlphaStar與人類(lèi)玩家TLO的對(duì)決

這些因素似乎對(duì)DeepMind被稱(chēng)為AlphaStar的AI系統(tǒng)并未構(gòu)成多大障礙。首先，它打敗了人類(lèi)職業(yè)玩家達(dá)里奧·溫什(Dario Wunsch，即TLO)，然后將目標(biāo)對(duì)準(zhǔn)MaNa。這些比賽最初是于去年12月份在DeepMind的倫敦總部舉行的，但該公司今天播放了AlphaStar與MaNa的最后一場(chǎng)比賽，這是人類(lèi)玩家唯一獲勝的比賽。

《星際爭(zhēng)霸》的職業(yè)評(píng)論員形容AlphaStar的表現(xiàn)是“非凡的”、“超人的”。在《星際爭(zhēng)霸2》中，玩家在建立基地、訓(xùn)練軍隊(duì)和入侵?jǐn)橙祟I(lǐng)土之前，會(huì)從相同地圖的不同側(cè)面展開(kāi)行動(dòng)。AlphaStar尤其擅長(zhǎng)所謂的“微操”，即在戰(zhàn)場(chǎng)上快速、果斷地控制單個(gè)或少量部隊(duì)的能力。

盡管人類(lèi)玩家有時(shí)能夠訓(xùn)練出更強(qiáng)大的作戰(zhàn)單位，但AlphaZero還是能夠在近距離內(nèi)戰(zhàn)勝他們。在一場(chǎng)游戲中，AlphaStar用名為Stalker的快速移動(dòng)單位騷擾MaNa。評(píng)論員凱文·范德庫(kù)伊(Kevinvan der Kooi)將其描述為“非凡的單位控制能力，很不常見(jiàn)”。MaNa在賽后表示:“如果我和任何人類(lèi)比賽，他們都不會(huì)將Stalker運(yùn)用得如此出神入化。”

這與我們?cè)谄渌呒?jí)游戲AI中看到的行為相呼應(yīng)。當(dāng)OpenAI去年在《Dota 2》中與人類(lèi)職業(yè)選手對(duì)決時(shí)，它們最后以失敗告終。但專(zhuān)家們指出，這些AI是以一種“清晰而精確”的方式進(jìn)行著游戲。對(duì)此，我們無(wú)需感到奇怪，快速做出沒(méi)有任何錯(cuò)誤的決定是機(jī)器的天賦異能。

專(zhuān)家們已經(jīng)開(kāi)始仔細(xì)分析這些比賽，并就AlphaStar是否擁有任何不公平的優(yōu)勢(shì)展開(kāi)辯論。這些AI在某些方面依然顯得笨拙，例如，AlphaStar的每分鐘點(diǎn)擊依然比人類(lèi)低。但與人類(lèi)玩家不同的是，它每次都能夠查看整個(gè)地圖，而不是手動(dòng)導(dǎo)航。

DeepMind的研究人員表示，這并沒(méi)有為AlphaStar提供真正的優(yōu)勢(shì)，因?yàn)樗谌魏螘r(shí)間只關(guān)注地圖的某個(gè)特定部分。但是，正如比賽所顯示的那樣，這并沒(méi)有阻止AlphaStar同時(shí)熟練地控制三個(gè)不同區(qū)域的單位。評(píng)論員們表示，這對(duì)人類(lèi)來(lái)說(shuō)是不可能的。值得注意的是，當(dāng)MaNa在直播比賽中擊敗AlphaStar時(shí)，AI使用的是受限的攝像頭視角。

AlphaStar的另一個(gè)潛在痛點(diǎn)是，人類(lèi)玩家雖然是職業(yè)玩家，但卻不是世界冠軍的標(biāo)準(zhǔn)。TLO還必須扮演《星際爭(zhēng)霸2》中他不熟悉的三個(gè)種族之一。

AlphaStar處理過(guò)程的圖形展示，該系統(tǒng)從上到下能看到整個(gè)地圖，并預(yù)測(cè)哪些行為將幫助獲得勝利

AI的重大進(jìn)步？

撇開(kāi)這些不談，專(zhuān)家們稱(chēng)這場(chǎng)比賽是AI向前邁出的重要一步。長(zhǎng)期參與《星際爭(zhēng)霸》AI場(chǎng)景的AI研究人員戴夫·丘吉爾（Dave Churchill）表示:“我認(rèn)為AI取得了重大成就，至少比我在AI研究人員中聽(tīng)到的最樂(lè)觀(guān)猜測(cè)提前了一年。”然而，邱吉爾補(bǔ)充說(shuō)，由于DeepMind尚未發(fā)布任何關(guān)于這項(xiàng)工作的研究論文，因此很難說(shuō)它是否顯示出任何技術(shù)上的飛躍。他指出:“我還沒(méi)有讀過(guò)這篇博客文章，也沒(méi)有接觸過(guò)相關(guān)的論文或技術(shù)細(xì)節(jié)。”

佐治亞理工學(xué)院AI副教授馬克·里德?tīng)?Mark Riedl)表示，他對(duì)結(jié)果并不那么驚訝，AI獲得勝利只是“時(shí)間問(wèn)題”。里德?tīng)栄a(bǔ)充說(shuō)，他不認(rèn)為這些比賽表明《星際爭(zhēng)霸2》已經(jīng)被AI徹底掌控。他表示：“在上一場(chǎng)直播比賽中，限制AlphaStar的某些能力確實(shí)消除了它的許多人為優(yōu)勢(shì)。但我們看到的更大的問(wèn)題是，當(dāng)人們可以把AI推出舒適區(qū)時(shí)，它就會(huì)崩潰。”

丹麥哥本哈根信息技術(shù)大學(xué)的塞巴斯蒂安·里斯(Sebastian Risi)表示：“這看起來(lái)是向前邁出的一大步。我們不知道這其間有多少創(chuàng)新，但培訓(xùn)AI的方式似乎是關(guān)鍵。”里斯的同事尼爾斯·賈斯特森（NielsJustesen）說(shuō):“我沒(méi)想到會(huì)發(fā)生這樣的事情，尤其是因?yàn)橹暗亩说蕉藢W(xué)習(xí)《星際爭(zhēng)霸》的嘗試遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到人類(lèi)的水平。”

殘酷的強(qiáng)化學(xué)習(xí)AI競(jìng)技場(chǎng)

最終，這類(lèi)工作的最終目標(biāo)不是利用AI在視頻游戲中擊敗人類(lèi)，而是改進(jìn)AI的訓(xùn)練方法，尤其是為了創(chuàng)建能夠在《星際爭(zhēng)霸》等復(fù)雜虛擬環(huán)境中運(yùn)行的系統(tǒng)。

為了訓(xùn)練AlphaStar DeepMind的研究人員使用了被稱(chēng)為強(qiáng)化學(xué)習(xí)的方法。AI智能體基本上是通過(guò)反復(fù)嘗試才能達(dá)到某些目標(biāo)，比如贏球或者僅僅是生存下去。它們首先通過(guò)模仿人類(lèi)玩家來(lái)學(xué)習(xí)，然后在類(lèi)似競(jìng)技比賽中相互對(duì)決。最強(qiáng)的AI會(huì)存活下來(lái)，最弱的則被淘汰。DeepMind估計(jì)，其每個(gè)AlphaStar智能體都以這種方式積累了大約200年的游戲時(shí)間，游戲速度也在加快。

DeepMind很清楚自己開(kāi)展這項(xiàng)工作的目標(biāo)。AlphaStar項(xiàng)目聯(lián)合負(fù)責(zé)人奧里爾·維尼亞斯(Oriol Vinyals)說(shuō)：“首先，也是最重要的，DeepMind的任務(wù)是建立通用AI，它可以執(zhí)行人類(lèi)所能完成的任何心理任務(wù)。要實(shí)現(xiàn)這個(gè)目標(biāo)，最重要的就是對(duì)我們的AI智能體在各種任務(wù)中的表現(xiàn)進(jìn)行基準(zhǔn)測(cè)試。”

科技媒體Engadget評(píng)論道，谷歌旗下的AI子公司DeepMind已經(jīng)轉(zhuǎn)向電腦游戲，其AI系統(tǒng)始終在進(jìn)行微調(diào)，以適應(yīng)《星際爭(zhēng)霸2》。今天的《星際爭(zhēng)霸2》比賽，是AlphaStar與職業(yè)玩家的第一次正面交鋒。在兩場(chǎng)五局的系列比賽中，AlphaStar戰(zhàn)勝了職業(yè)選手TLO和MaNa，贏得了10場(chǎng)勝利。而在連續(xù)十次失利后，人類(lèi)玩家終于贏得了最后一場(chǎng)比賽。

DeepMind的野心

雖然游戲并不能很好地展示這項(xiàng)技術(shù)，但它確實(shí)描繪了DeepMind在理解人類(lèi)行為方面取得的長(zhǎng)足進(jìn)步。最終，這項(xiàng)技術(shù)可以被用于許多其他領(lǐng)域，如理論物理學(xué)，甚至醫(yī)學(xué)。紐約大學(xué)的朱利安·加里烏斯(Julian lius)表示：“我認(rèn)為《星際爭(zhēng)霸》就像是在經(jīng)營(yíng)一家公司，尤其是后勤部門(mén)。關(guān)鍵是要規(guī)劃研發(fā)，在正確的時(shí)間把產(chǎn)品送到正確的地方，避免瓶頸。”

AlphaStar也可以幫助專(zhuān)業(yè)人士改善他們的策略。馬耳他大學(xué)的Georgios Yannakakis稱(chēng):“如果AI能夠找到最優(yōu)的游戲方式，那將是非常令人興奮的。這畢竟是人們構(gòu)建AI的原因之一。目前來(lái)說(shuō)，很多人都不想在任何游戲中遇到DeepMind的AI對(duì)手，更不用說(shuō)像《星際爭(zhēng)霸2》中與其進(jìn)行激烈對(duì)決了。