2022年，OpenAI旗下ChatGPT橫空出世，人工智能再次成為全球矚目的焦點(diǎn)。ChatGPT的成功得益于OpenAI團(tuán)隊(duì)在人工智能大語(yǔ)言模型和強(qiáng)化學(xué)習(xí)領(lǐng)域持續(xù)不斷地投入、探索和創(chuàng)新。但鮮為人知的是，在OpenAI不斷迭代升級(jí)的過(guò)程中，電子游戲也曾發(fā)揮過(guò)舉足輕重的作用。早期的OpenAI 曾在2019年打造出名為OpenAI Five的游戲AI，并成功擊敗了兩屆DOTA2國(guó)際邀請(qǐng)賽的世界冠軍OG戰(zhàn)隊(duì)（恭喜OG！）。

【資料圖】

前幾天，來(lái)自斯坦福大學(xué)和谷歌的研究人員也構(gòu)建了一個(gè)名為Smallville的2D虛擬游戲場(chǎng)景，并將25個(gè)基于ChatGPT的AI智能體置于該游戲場(chǎng)景中進(jìn)行訓(xùn)練，研究發(fā)現(xiàn)25個(gè)AI智能體實(shí)現(xiàn)了對(duì)人類(lèi)行為的可信模擬，他們不僅能夠相互交談，還能夠與自身所處環(huán)境互動(dòng)，記住并回憶它們所做的和觀察到的事情，并作出相應(yīng)決策。

那么，為什么OpenAI會(huì)選擇電子游戲作為訓(xùn)練和測(cè)試AI模型，電子游戲?qū)τ贏I的發(fā)展究竟意味著什么？

鮮為人知：Open AI團(tuán)隊(duì)為AI打造專(zhuān)屬“游戲訓(xùn)練”平臺(tái)

在展開(kāi)OpenAI與DOTA2的故事之前，不妨簡(jiǎn)要回顧下電子游戲與OpenAI那段鮮為人知的歷史，或許能夠幫助我們更好的理解電子游戲與OpenAI之間的關(guān)系。

成立于2015年12月美國(guó)舊金山，OpenAI最初是一個(gè)由小團(tuán)隊(duì)組成的非盈利性質(zhì)的人工智能實(shí)驗(yàn)室，其目標(biāo)是通過(guò)與其他機(jī)構(gòu)和研究者的“自由合作”，向公眾開(kāi)放AI專(zhuān)利和研究成果。OpenAI在成立之時(shí)并未獲得太多關(guān)注，在成立一年后（2016年12月），OpenAI對(duì)外發(fā)布了首款產(chǎn)品基于電子游戲的AI測(cè)試平臺(tái)“Universe”。這是一款能在幾乎所有環(huán)境中衡量和訓(xùn)練 AI 通用智能水平的開(kāi)源平臺(tái)，其發(fā)布時(shí)間甚至早于第一代GPT（基于轉(zhuǎn)換器的生成式預(yù)訓(xùn)練模型）產(chǎn)品。

OpenAI 的Universe是一個(gè)訓(xùn)練 AI 通用智能水平的開(kāi)源平臺(tái)，由微軟、英偉達(dá)等公司參與建設(shè)，其中包含多達(dá)1000多種游戲訓(xùn)練環(huán)境，主要包括了各類(lèi)Flash游戲、Atari 2600游戲，以及《GTA 5》等PC游戲。OpenAI研究人員介紹說(shuō)，Universe平臺(tái)最初是從李飛飛等人創(chuàng)立的ImageNet數(shù)據(jù)庫(kù)項(xiàng)目中獲得啟發(fā)，希望把ImageNet在降低圖像識(shí)別錯(cuò)誤率上的成功經(jīng)驗(yàn)引入到通用人工智能的研究上來(lái)，取得實(shí)質(zhì)進(jìn)展。

圖1 OpenAI Universe平臺(tái)

對(duì)于OpenAI而言，打造Universe的最終目標(biāo)是訓(xùn)練出一個(gè)“通用人工智能”，可以靈活地將在訓(xùn)練環(huán)境中積累和掌握的經(jīng)驗(yàn)快速應(yīng)用到陌生、困難的環(huán)境。

當(dāng)時(shí)的人工智能發(fā)展已經(jīng)在“聽(tīng)、說(shuō)、看”感知智能取得了一定突破，基于強(qiáng)化學(xué)習(xí)的AlphaGo也剛剛擊敗了人類(lèi)圍棋世界冠軍，但在OpenAI團(tuán)隊(duì)看來(lái)，這些突破依舊沒(méi)有跳出“弱人工智能（Narrow AI）”的范疇，并不具備理解問(wèn)題的和解決問(wèn)題的能力。

OpenAI團(tuán)隊(duì)認(rèn)為，要想讓人工智能具備這種能力，就必須將其置于更為廣泛和復(fù)雜的環(huán)境中進(jìn)行訓(xùn)練，只有通過(guò)不斷的訓(xùn)練，才能讓人工智能發(fā)展出可以有效遷移復(fù)用的知識(shí)和問(wèn)題解決策略，而電子游戲就是這個(gè)“訓(xùn)練環(huán)境”的絕佳選擇。

最佳陪練：OpenAI從DOTA2中學(xué)到了什么？

事實(shí)上，早在2017年的DOTA2國(guó)際邀請(qǐng)賽上，OpenAI的智能體已經(jīng)能在1v1比賽中擊敗過(guò)頂尖人類(lèi)職業(yè)選手；在2018年DOTA2國(guó)際邀請(qǐng)賽上嶄露頭角，與人類(lèi)玩家組成的職業(yè)戰(zhàn)隊(duì)過(guò)招；而到了2019年4月，OpenAI對(duì)外宣布旗下的智能體項(xiàng)目OpenAI Five已經(jīng)能夠在5V5的比賽中擊敗DOTA2世界冠軍OG職業(yè)戰(zhàn)隊(duì)，成為了首個(gè)擊敗電子競(jìng)技游戲世界冠軍戰(zhàn)隊(duì)的AI系統(tǒng)。

OpenAI團(tuán)隊(duì)為什么要選擇DOTA2作為訓(xùn)練環(huán)境呢？在開(kāi)發(fā)OpenAI five之前，OpenAI團(tuán)隊(duì)一直在探尋如何讓AI在深度強(qiáng)化學(xué)習(xí)方向上實(shí)現(xiàn)突破，創(chuàng)造性地提升智能體的效率。當(dāng)時(shí)，一般強(qiáng)化學(xué)習(xí)（RL）的研究人員傾向于認(rèn)為，如果想讓智能體在長(zhǎng)時(shí)間游戲中表現(xiàn)出色，就難免需要一些根本上的新突破，比如采用Hierarchical Reinforcement learning（分層強(qiáng)化學(xué)習(xí)）的方式，即將復(fù)雜問(wèn)題分解成若干子問(wèn)題（sub-problem），通過(guò)分而治之(divide and conquer)的方法，逐個(gè)解決子問(wèn)題從而最終解決一個(gè)復(fù)雜問(wèn)題。

而以規(guī)則復(fù)雜、要素眾多、環(huán)境多變，同時(shí)也是全球擁有超高人氣的電子游戲DOTA2，順理成章地成為了OpenAI的首選，正如OpenAI團(tuán)隊(duì)所言“相比標(biāo)準(zhǔn)的RL開(kāi)發(fā)環(huán)境，DOTA2顯得更加有趣，也更加困難。但是，如果一個(gè)AI能在像DOTA這樣復(fù)雜的游戲里超越人類(lèi)水平，那這個(gè)AI本身就是一個(gè)里程碑?！毕噍^于AI之前在國(guó)際象棋和圍棋里取得的成就，像DOTA2這類(lèi)復(fù)雜的游戲能更好地捕捉現(xiàn)實(shí)世界中的混亂和連續(xù)性，使其訓(xùn)練出的AI能夠擁有更好的通用性，使之更有可能應(yīng)用于游戲之外的人類(lèi)社會(huì)。

為了戰(zhàn)勝DOTA2人類(lèi)職業(yè)戰(zhàn)隊(duì)，OpenAI 團(tuán)隊(duì)進(jìn)行了長(zhǎng)達(dá)數(shù)年的努力，詳細(xì)拆解游戲中各類(lèi)復(fù)雜規(guī)則和問(wèn)題，并依次不斷調(diào)整優(yōu)化AI模型。

DOTA2的游戲內(nèi)容十分豐富，而且還存在“戰(zhàn)爭(zhēng)迷霧”設(shè)定，即單位和建筑物只能看到它們周?chē)膮^(qū)域，地圖的其余部分被迷霧所覆蓋，AI需要根據(jù)不完全信息進(jìn)行推斷，而國(guó)際象棋和圍棋則都是全信息游戲。下圖是OpenAI Five使用的觀察空間和動(dòng)作空間的交互式演示，它把整張地圖看做一個(gè)有2萬(wàn)個(gè)數(shù)據(jù)的列表，并通過(guò)8個(gè)列舉值的列表來(lái)采取行動(dòng)：

圖2 OpenAI Five決策過(guò)程

在OpenAI戰(zhàn)勝DOTA2 Ti冠軍OG戰(zhàn)隊(duì)時(shí)，OpenAI Five團(tuán)隊(duì)使用的訓(xùn)練計(jì)算量比2018年的版本增加了8倍，并在10個(gè)實(shí)時(shí)月內(nèi)經(jīng)歷了大約4萬(wàn)5千年的DOTA2游戲，平均每天的游戲量相當(dāng)于人類(lèi)玩家250年的積累。

在戰(zhàn)勝人類(lèi)世界冠軍之后的總結(jié)中，OpenAI團(tuán)隊(duì)提及他們?cè)贒OTA2中的訓(xùn)練環(huán)境中，學(xué)到了最重要的一點(diǎn)是：如果想要提升智能體的性能，其根本并非要實(shí)現(xiàn)訓(xùn)練方法的突破，而是要不斷擴(kuò)大規(guī)模。如果規(guī)模夠大、結(jié)構(gòu)夠合理，AI依舊可以表現(xiàn)出強(qiáng)大的能力。正如OpenAI首席科學(xué)家Ilya Sutskever 所言“我們堅(jiān)信越大越好，OpenAI 的目標(biāo)就是擴(kuò)大規(guī)模?！?/p>

OpenAI在DOTA2上的嘗試，為AI強(qiáng)化學(xué)習(xí)效率提升提供了方向，這些都成為了ChatGPT的養(yǎng)分。在Ilya Sutskever看來(lái)，“通過(guò)DOTA2的訓(xùn)練，OpenAI的學(xué)習(xí)模式從“強(qiáng)化學(xué)習(xí)”轉(zhuǎn)變?yōu)榱恕盎谌祟?lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF）”,而這些與GPT技術(shù)的結(jié)合，才最終塑造出了ChatGPT?！?/p>

未來(lái)之路：AIGC 助力游戲內(nèi)容生產(chǎn)

如今，伴隨著以ChatGPT為代表的AIGC技術(shù)的成熟，AI也開(kāi)始反向助力游戲的內(nèi)容生產(chǎn)。ChatGPT真的能輔助游戲制作嗎？首先，不妨讓我們來(lái)聽(tīng)聽(tīng)ChatGPT自己的回答：

GPT-4可以在多個(gè)方面輔助游戲制作。以下是一些具體的應(yīng)用場(chǎng)景：

1、游戲劇本和故事創(chuàng)作：GPT-4可以生成故事情節(jié)、角色設(shè)定和對(duì)話(huà)，為游戲制作提供創(chuàng)意靈感。

2、任務(wù)和關(guān)卡設(shè)計(jì)：GPT-4可以根據(jù)提供的游戲類(lèi)型和主題生成任務(wù)、關(guān)卡設(shè)計(jì)和謎題，幫助設(shè)計(jì)師更高效地制作游戲內(nèi)容。

3、人工智能NPC：GPT-4可以生成自然的對(duì)話(huà)和反應(yīng)，使得游戲內(nèi)的非玩家角色（NPC）更加真實(shí)、有趣。

4、自動(dòng)生成游戲文檔：GPT-4可以幫助制作團(tuán)隊(duì)編寫(xiě)設(shè)計(jì)文檔、技術(shù)文檔和測(cè)試用例等，提高生產(chǎn)效率。

5、游戲本地化：GPT-4支持多種語(yǔ)言，可以輔助游戲的翻譯和本地化工作，讓游戲能夠更好地適應(yīng)不同地區(qū)的市場(chǎng)。

6、社區(qū)管理和客戶(hù)支持：GPT-4可以幫助回答玩家的問(wèn)題、解決技術(shù)問(wèn)題并對(duì)玩家反饋進(jìn)行分類(lèi)和總結(jié)，提高客戶(hù)支持的效率和質(zhì)量。

7、游戲內(nèi)文本和資源生成：GPT-4可以幫助生成游戲內(nèi)的文本，如物品描述、任務(wù)說(shuō)明等，減輕游戲開(kāi)發(fā)者的負(fù)擔(dān)。

8、測(cè)試和質(zhì)量保證：GPT-4可以幫助分析游戲的錯(cuò)誤報(bào)告，確定可能的問(wèn)題來(lái)源，以及為開(kāi)發(fā)團(tuán)隊(duì)提供修復(fù)建議。

9、創(chuàng)意概念和美術(shù)設(shè)計(jì)：雖然GPT-4主要以文本處理為主，但它可以為美術(shù)設(shè)計(jì)團(tuán)隊(duì)提供創(chuàng)意概念和設(shè)計(jì)建議，有助于創(chuàng)造獨(dú)特的游戲視覺(jué)效果。

通過(guò)與游戲制作團(tuán)隊(duì)的協(xié)作，GPT-4有望提高游戲開(kāi)發(fā)的效率、創(chuàng)新性和質(zhì)量。當(dāng)然，GPT-4仍然是一個(gè)AI輔助工具，它不能完全替代人類(lèi)的創(chuàng)造力和專(zhuān)業(yè)知識(shí)。在實(shí)際應(yīng)用中，開(kāi)發(fā)者需要根據(jù)自己的需求和項(xiàng)目特點(diǎn)，合理地利用GPT-4的能力。

看完以上GPT-4的回答，不禁會(huì)想問(wèn)ChatGPT回答真的能夠在現(xiàn)實(shí)中實(shí)現(xiàn)嗎？目前來(lái)看，ChatGPT的確可以制作一些簡(jiǎn)單的數(shù)字游戲，但對(duì)于制作3A游戲大作而言，顯然有些捉襟見(jiàn)肘。

Digital Trends的一份新報(bào)告詳細(xì)介紹了如何使用流行的對(duì)話(huà)和腳本生成器來(lái)創(chuàng)建可玩的PC游戲。報(bào)告指出，只需來(lái)自用戶(hù)的幾個(gè)簡(jiǎn)單提示，ChatGPT就發(fā)明了自己的基于數(shù)學(xué)的邏輯益智游戲。不僅如此，它還生成了一些簡(jiǎn)單的游戲代碼，后來(lái)變成了一款令人上癮的免費(fèi)瀏覽器游戲，已經(jīng)在網(wǎng)上引起了一些轟動(dòng)。但是，當(dāng)被問(wèn)到是否可以制作出像《最后生還者》(The Last of US)這樣的3A游戲大作時(shí)，ChatGPT顯然有些“茫然”，只能夠簡(jiǎn)單吐露出一些故事情節(jié)，無(wú)法為游戲生成代碼。

圖3 ChatGPT自動(dòng)生成簡(jiǎn)單的數(shù)字游戲

雖然對(duì)于游戲復(fù)雜規(guī)則的設(shè)計(jì)、代碼的編寫(xiě)等工作，在短期內(nèi)依舊需要依靠人工來(lái)解決，但是以ChatGPT為代表的人工智能，已經(jīng)能夠幫助游戲開(kāi)發(fā)者們生成對(duì)話(huà)、腳本和其他數(shù)字資產(chǎn)，提升游戲開(kāi)發(fā)者的工作效率，幫助游戲開(kāi)發(fā)者們簡(jiǎn)單地填充虛擬的游戲空間，縮短游戲制作的周期。

而隨著AIGC技術(shù)發(fā)展，游戲AI智能體（決策智能）也會(huì)隨之不斷迭代升級(jí)。正如文章開(kāi)頭提及的斯坦福和谷歌團(tuán)隊(duì)訓(xùn)練的AI智能體，其已經(jīng)能夠基于大模型實(shí)現(xiàn)一些簡(jiǎn)單的決策，而生成式智能(AIGC)和決策智能的結(jié)合，將打開(kāi)通用人工智能的大門(mén)。

可以預(yù)見(jiàn)的是，未來(lái)AI與游戲的發(fā)展勢(shì)必會(huì)更加緊密的聯(lián)系在一起?，F(xiàn)實(shí)中，已經(jīng)有越多越多的人們意識(shí)到游戲與人工智能的共生關(guān)系：2023年3月25日出版的最新一期《經(jīng)濟(jì)學(xué)人》刊文，認(rèn)為游戲在21世紀(jì)全球流行文化及國(guó)際競(jìng)爭(zhēng)中扮演重要地位。在系列報(bào)道中，《經(jīng)濟(jì)學(xué)人》也為AI 技術(shù)的革命和普及，將會(huì)帶動(dòng)“用戶(hù)自制游戲的興起”，“人工智能技術(shù)的發(fā)展將允許開(kāi)發(fā)者用簡(jiǎn)單的文本、語(yǔ)音指令創(chuàng)建交互式3D模型”，極大降低游戲制作的門(mén)檻。Omdia發(fā)布的2023年技術(shù)趨勢(shì)展望報(bào)告中，也將“游戲科技（GamesTech）”列為最值得關(guān)注的技術(shù)趨勢(shì)之一，并認(rèn)為游戲AI將成為2023年游戲開(kāi)發(fā)中最受關(guān)注的熱門(mén)技術(shù)話(huà)題。此外，在中國(guó)音數(shù)協(xié)游戲工委、中國(guó)游戲產(chǎn)業(yè)研究院與多家單位合作推出《游戲科技能力與科技價(jià)值研究報(bào)告》中，面向游戲與電子通信、硬件制造等領(lǐng)域的行業(yè)調(diào)研數(shù)據(jù)顯示，81%的受訪(fǎng)者認(rèn)同游戲促進(jìn)了AI技術(shù)的發(fā)展。

在OpenAI Five之后，包括索尼、騰訊在內(nèi)的多家科技公司都開(kāi)始基于游戲訓(xùn)練AI智能體。前者基于《GT賽車(chē)》游戲創(chuàng)新了AI強(qiáng)化學(xué)習(xí)算法，研究成果登上《Nature》雜志封面；后者基于《王者榮耀》游戲開(kāi)發(fā)出AI開(kāi)放研究平臺(tái)“開(kāi)悟”，助力構(gòu)建產(chǎn)學(xué)研體系。

回到文章的開(kāi)頭，OpenAI團(tuán)隊(duì)選擇游戲訓(xùn)練AI的初心是想要打造出“通用人工智能”。而對(duì)于通用人工智能的發(fā)展而言，目前以ChatGPT為代表的大語(yǔ)言訓(xùn)練模型，讓人們窺見(jiàn)到了AGI（通用人工智能）的未來(lái)圖景，而以游戲AI為代表的決策智能，以及游戲提供的絕佳AI訓(xùn)練場(chǎng)，也正在加快AI走向通用的進(jìn)程。

我們期待未來(lái)的AI能夠與游戲在實(shí)現(xiàn)“通用人工智能”的道路上攜手共進(jìn)，為人類(lèi)社會(huì)的發(fā)展帶來(lái)更多美好的期待。

本文來(lái)源于騰訊研究院，作者為王樞，原文標(biāo)題為《OpenAI成功的背后，鮮為人知的游戲訓(xùn)練史》

風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶(hù)應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：