作者：Feitong Yang
鏈接：https://zhuanlan.zhihu.com/p/22098814
來源：知乎
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。

在過去的三個(gè)月中，我在一家游戲公司實(shí)習(xí)——寫游戲引擎，因?yàn)槲覀兊囊�擎是自己開發(fā)的�，F(xiàn)在團(tuán)隊(duì)的一批成員正在科隆游戲展的一線宣傳這款還在Close Beta Test的游戲：這是一個(gè)即時(shí)戰(zhàn)略和MoBA的混合體，要求1個(gè)玩家在15分鐘內(nèi)同時(shí)操控3個(gè)英雄在游戲中通過打野采礦和攻擊對方得到最多的分?jǐn)?shù)，從而獲得勝利。如果讀者碰巧在科隆游戲展，歡迎來Hall 6玩我們開發(fā)的游戲。游戲正在線上和線下發(fā)放Beta Key，而且似乎大佬們正在跟國內(nèi)的一些公司接洽，討論游戲進(jìn)入中國的方案，但是到底什么時(shí)候能跟中國玩家見面我就不知道了。

當(dāng)然，這是一個(gè)視覺科學(xué)的專欄，我顯然不是專門在這里給游戲打廣告的。今天是想從視覺注意的研究方面來重構(gòu)一下『導(dǎo)播鏡頭』這個(gè)功能——在觀賞游戲的時(shí)候，如何讓AI來自動(dòng)切換鏡頭，把相機(jī)焦點(diǎn)放在游戲最精彩的部分。

什么是『導(dǎo)播鏡頭』？

玩Dota或者LOL的玩家應(yīng)該會(huì)知道在觀戰(zhàn)模式中，觀眾可以選擇『導(dǎo)播鏡頭（Directed Camera）』觀戰(zhàn)。在這種模式中，游戲AI會(huì)自動(dòng)將相機(jī)焦點(diǎn)導(dǎo)播到游戲最有趣的部分，讓玩家看到游戲雙方是如何戰(zhàn)斗的。這個(gè)AI系統(tǒng)會(huì)隨著游戲的發(fā)展，選擇在不同的時(shí)間看不同的地區(qū)中玩家的戰(zhàn)斗情況。在我前期搜索資料的過程中發(fā)現(xiàn)，很多玩家都很喜歡這個(gè)功能，因?yàn)樗麄儼l(fā)現(xiàn)這個(gè)AI系統(tǒng)通常可以捕捉到很精彩的游戲場面，比如大招啊，有趣的配合啊之類的。于是，玩家可以通過觀看戰(zhàn)斗來學(xué)習(xí)游戲玩法，而一些主播也可以通過這個(gè)功能來減輕自己的負(fù)擔(dān)。

Fig 1：LOL的導(dǎo)播鏡頭介紹

『導(dǎo)播鏡頭』是使用了什么樣的算法？

我也不知道。顯然，Dota和LOL的制作方?jīng)]有把源碼公布出來，所以我們并不知道他們是是用什么算法來實(shí)現(xiàn)這個(gè)功能的。網(wǎng)上有很多關(guān)于算法的猜測，但是基本上都是對于數(shù)據(jù)和參數(shù)的猜測，具體算法也沒有人知道。再說，Dota和LOL很有可能使用的是不同的算法來實(shí)現(xiàn)同一個(gè)功能的。另外，我們也沒法直接用LOL的系統(tǒng)，因?yàn)樗麄儼堰@個(gè)系統(tǒng)申請了專利……

因?yàn)槲覀兊挠螒蚴且粋�(gè)競技性很強(qiáng)的游戲，整個(gè)團(tuán)隊(duì)也想把這個(gè)游戲推入電子競技圈，所以我們希望自己的游戲中有一個(gè)智能導(dǎo)播鏡頭能夠在觀戰(zhàn)（包括游戲直播和觀看錄像）的時(shí)候自動(dòng)地將鏡頭焦點(diǎn)放在游戲最有趣的部分，這樣玩家就可以躺著看比賽了。

于是，我的工作就是從頭設(shè)計(jì)和制作這樣一個(gè)導(dǎo)播鏡頭的功能。

但是我并不知道別人的算法是什么，我只好想一個(gè)自己的算法。但是我從來沒做過游戲開發(fā)啊，我在過去的幾年都是視覺科學(xué)研究者，跟游戲開發(fā)差別好像還挺大的。

沒事，我有一個(gè)特點(diǎn)：雖然我長得丑，但是我想得美呀！

用視覺注意研究來設(shè)計(jì)智能『導(dǎo)播鏡頭』

我們重新來看一下『導(dǎo)播鏡頭』需要做的事情：在某一個(gè)時(shí)間，我們的相機(jī)只能聚焦在一個(gè)地方，而我們希望這個(gè)地方是此時(shí)游戲最有意思的地方。這個(gè)要求本質(zhì)上就是一個(gè)選擇過程：我們要選擇在某一個(gè)時(shí)刻地圖上最有趣的地點(diǎn)。

說白了，這就是我們的空間注意系統(tǒng)在做的事情：在某一個(gè)時(shí)刻加工空間中最顯著的信息。

既然說白了是要設(shè)計(jì)一個(gè)類似關(guān)于人類注意系統(tǒng)的AI系統(tǒng)，這東西我比較熟，所有的注意研究領(lǐng)域內(nèi)相關(guān)的理論我都可以用起來，我們就來看如何用是視覺注意的研究理論來重構(gòu)這個(gè)『導(dǎo)播鏡頭』。

1. 人類注意會(huì)選擇空間中最顯著的信息——顯著圖（Salience Map）

現(xiàn)代關(guān)于自底向上(Bottom-up)的注意模型都基于同一個(gè)思路：顯著圖(Salience Map)。這個(gè)顯著圖的功能在于計(jì)算整個(gè)空間中每一個(gè)位置的顯著值(Salience)，并且假設(shè)最顯著的的信息會(huì)自動(dòng)吸引注意到那個(gè)位置。

舉個(gè)例子，如果你突然聽到一聲巨響，你會(huì)不由自主地扭頭往那個(gè)方向看，因?yàn)槟锹暰揄憣δ銇碚f非常顯著，可能在那個(gè)地方發(fā)生了什么重要的事情，所以你的注意一下子就被吸引到那個(gè)方向了。再舉個(gè)例子，一個(gè)百無聊賴的下午，你跟基友在商場里面閑逛，畢竟你們倆都沒有妹子。本來在猶豫要不要買眼前這件T恤的你，眼睛突然一下跳轉(zhuǎn)到了10點(diǎn)鐘方向，一動(dòng)不動(dòng)。因?yàn)槟莻�(gè)位置突然出現(xiàn)了一個(gè)非常符合你審美的美女，這個(gè)視覺刺激非常顯著，以至于她出現(xiàn)在你眼角的一剎那，你的注意就被吸引過去了。這兩種情況都展示了顯著刺激會(huì)主動(dòng)吸引注意的現(xiàn)象。

根據(jù)這樣的基本規(guī)律，我們就可以設(shè)計(jì)這樣一個(gè)智能系統(tǒng)：這個(gè)系統(tǒng)智能地計(jì)算每一時(shí)刻游戲地圖上最顯著的區(qū)域，然后我們把導(dǎo)播相機(jī)聚焦在這個(gè)區(qū)域就可以了。這樣，我們就只要解決一個(gè)稍微簡單點(diǎn)的問題：如何計(jì)算每一個(gè)區(qū)域的顯著值。

像LOL和Dota這樣的游戲，顯然我們不能去計(jì)算每一個(gè)像素的顯著性。但是我們完全可以假設(shè)游戲最有趣的地方一定是某一個(gè)或某一群英雄附近。一般情況下，如果某一個(gè)區(qū)域沒有任何一個(gè)英雄在活動(dòng)，作為想了解玩家游戲策略的觀眾而言，這樣的區(qū)域比較沒有意思。于是我們就需要設(shè)計(jì)一個(gè)方案來計(jì)算『什么叫做有趣的、顯著的信息』？

『什么信息是顯著信息』是一個(gè)非常難的問題。這個(gè)問題目前有困擾著所有研究注意的科學(xué)家。因?yàn)閷τ谌祟惗�言，很多因素可以變成顯著因素——顏色對比度，聲音強(qiáng)度，獎(jiǎng)賞相關(guān)性等等。在諸如DOTA和LOL的游戲中，顯著因素相對少一些，但是仍然比較難搞。有些因素很容易找到：比如，我們可以認(rèn)為英雄死亡是一個(gè)顯著事件——我們想知道怎么補(bǔ)刀拿人頭的，另外，英雄的大招也顯然是顯著事件——如果有人放大招了，我們肯定不想錯(cuò)過。再比如一些重要的事件，比如推塔什么的，也有可能我們覺得很有趣。

另外一些因素就相對比較難定義了。比如，團(tuán)戰(zhàn)。最簡單的定義是不同陣營的人在某一個(gè)區(qū)間內(nèi)同時(shí)出現(xiàn)，我們就認(rèn)為發(fā)生了團(tuán)戰(zhàn)。這樣的定義顯然很粗糙，比如有可能玩家估計(jì)把站在一起，就是不打。再比如，伏擊。游戲AI是很難知道一個(gè)英雄的一系列走位是為了伏擊的，因?yàn)橛螒駻I只能看到游戲數(shù)據(jù)，看不到人的思想。你穿樹林有可能不是為了伏擊，而是為了逃跑。再比如，一些比較高級的玩法，玩家之間的配合之類的，這些策略都很難通過簡單的規(guī)則來判斷和定義。

Fig 2. 『打野』這個(gè)事件就是一個(gè)比較抽象的事件，他沒有明確的起始時(shí)間和中止時(shí)間，也沒有明確的觸發(fā)條件，只有『玩家和野怪的交互』這樣一個(gè)模糊的定義。

但是，設(shè)計(jì)游戲系統(tǒng)最重要的一點(diǎn)就是不要把設(shè)計(jì)思路搞得太復(fù)雜。如果我們上來就思考：『我怎么才能刻畫和定義玩家的不同策略，爭取把所有有趣的操作都讓相機(jī)找到』，那我們很有可能會(huì)發(fā)現(xiàn)這個(gè)任務(wù)太難了——有可能要來點(diǎn)機(jī)器學(xué)習(xí)，在湊點(diǎn)大數(shù)據(jù)什么的。一個(gè)復(fù)雜的系統(tǒng)可能非常準(zhǔn)確，但是也可能會(huì)非常糟糕，非常難用。其實(shí)仔細(xì)想一下，玩家的任何游戲策略最終都會(huì)轉(zhuǎn)換為游戲中英雄在某一個(gè)時(shí)刻的位置和使用的技能。位置是可以測量的，技能的影響是可以測量的。HP的改變和CoolDown都位置和技能的副產(chǎn)品。

LOL和Dota的玩家應(yīng)該在一段時(shí)間的游戲和看視頻之后逐漸地知道我們一般在什么情況下會(huì)說什么事件發(fā)生了。如果你仔細(xì)考慮，你會(huì)發(fā)現(xiàn)真正稱得上『事件』的其實(shí)也就那么一些，關(guān)鍵是你如何通過僅有的游戲數(shù)據(jù)——每一個(gè)物體的位置、Hp、觸發(fā)技能——來反向歸納出這些事件。人，用眼睛看，當(dāng)然是一目了然的；但是AI系統(tǒng)，看到的只有一幀一幀的游戲數(shù)據(jù)，如何把數(shù)據(jù)解析成事件——這才是AI導(dǎo)播系統(tǒng)需要花點(diǎn)時(shí)間的。

2. 人類注意滯留的時(shí)間是有限的

人的注意是不會(huì)在任何一個(gè)物體和空間上停留很久的。人很容易感覺無聊。即使是你在看電視，甚至是看美女帥哥看的津津有味的時(shí)候，你的眼睛和注意焦點(diǎn)也不會(huì)在同一個(gè)地方太久（可能一次也就停留個(gè)半秒）——你會(huì)在不同的有趣的地方來回打量。但是，你的注意終究會(huì)在一些特別有趣的地方停留時(shí)間久一些，而在不那么有趣的地方停留時(shí)間短一些。

在觀賞游戲的時(shí)候，觀眾也不會(huì)愿意盯著一個(gè)地區(qū)或者一個(gè)英雄（特殊情況除外）看太久�？戳艘欢螘r(shí)間之后，觀眾可能就會(huì)想：咦，我想看看另外幾個(gè)英雄在做些什么有趣的事情呢？

考慮到注意這樣的屬性，我們需要設(shè)計(jì)導(dǎo)播鏡頭在每一個(gè)顯著性的點(diǎn)上停留多長時(shí)間。如果導(dǎo)播鏡頭停留的時(shí)間太短，觀眾會(huì)感覺鏡頭跳來跳去，看不清楚到底是怎么回事；如果停留時(shí)間太長，觀眾會(huì)感覺到無聊，希望看別的地方。我們希望導(dǎo)播鏡頭能夠盡量智能地控制時(shí)間在某一個(gè)位置的時(shí)間長度。

如果你掐表看LOL的導(dǎo)播鏡頭的話，你會(huì)發(fā)現(xiàn)鏡頭一般在一個(gè)位置停留5s，然后跳轉(zhuǎn)到下一個(gè)區(qū)域。有時(shí)候，你會(huì)發(fā)現(xiàn)鏡頭在同一個(gè)位置停留10s，甚至20s。這多半是因?yàn)檫@個(gè)位置有多個(gè)英雄在團(tuán)戰(zhàn)。因?yàn)檫@個(gè)場面足夠有趣，英雄足夠多，技能足夠華麗，觀眾可能愿意在這個(gè)場景中多花一點(diǎn)時(shí)間，看看游戲的走向。因此，導(dǎo)播系統(tǒng)也就自然地多花了一些時(shí)間在這個(gè)上面。

Fig 3. 比如這樣的游戲團(tuán)戰(zhàn)，雙方英雄和野獸都存在，我們就希望智能系統(tǒng)停留久一點(diǎn)。

我們設(shè)計(jì)導(dǎo)播鏡頭也要做到同樣的效果。真正的實(shí)現(xiàn)有很多種不同的方法，比如你統(tǒng)計(jì)某個(gè)區(qū)間內(nèi)的英雄總數(shù)，然后根據(jù)英雄的數(shù)量設(shè)置時(shí)間�；蛘�，引擎可以統(tǒng)計(jì)某個(gè)區(qū)域發(fā)生了多少傷害，多少技能輸出，多少移動(dòng)，然后根據(jù)統(tǒng)計(jì)量的多少來決定相機(jī)的停留時(shí)間。當(dāng)然，我不是這么實(shí)現(xiàn)的，我的方法比較簡單粗暴，而且這種因?yàn)橛⑿鄱喽�增長鏡頭停留時(shí)間的現(xiàn)象也只是一個(gè)副產(chǎn)品，在這里就不多贅述了。

3. 人類會(huì)主動(dòng)回避剛剛看過的地方——返回抑制(Inhibition of Return)

人類注意系統(tǒng)還有一個(gè)很有趣的現(xiàn)象，我們剛剛看過的地方，在一段時(shí)間內(nèi)我們不會(huì)再去看了。我們把這種現(xiàn)象稱為返回抑制。

比如，你在桌子上找鉛筆的時(shí)候，你花了一些時(shí)間搜索了一個(gè)區(qū)域，接下來的一段時(shí)間之內(nèi)你可能就不會(huì)再搜索這塊區(qū)域了。但是如果再等了一會(huì)兒你還是沒有找到鉛筆，你可能才會(huì)回來再查一遍。

在觀戰(zhàn)LOL和Dota的時(shí)候，如果你是想了解游戲進(jìn)展，很有可能你不是很希望在一方的同一個(gè)英雄身上花太多時(shí)間。比如你看到A英雄1在x路線上推進(jìn)，沒發(fā)生什么特別的；接下來你去看了看B方英雄做什么；接下來你又回到A方英雄，這個(gè)時(shí)候，你可能就不會(huì)再想去看英雄1在干什么，而是想知道你之前沒有看過的英雄2，英雄3在干什么。

智能導(dǎo)播系統(tǒng)應(yīng)該也要考慮到這樣的問題，在同一陣營的不同英雄之間分配時(shí)間，不至于總是把鏡頭放在某一個(gè)特殊的英雄上面，畢竟其他的英雄可能正在做著很重要的事情。

4. 綜合在一起，加上一點(diǎn)點(diǎn)先知

現(xiàn)在，你有了一個(gè)導(dǎo)播系統(tǒng)，這個(gè)系統(tǒng)會(huì)計(jì)算每一個(gè)時(shí)刻地圖上哪里最顯著，然后這個(gè)導(dǎo)播系統(tǒng)會(huì)把相機(jī)聚焦在這個(gè)最顯著的區(qū)域內(nèi)，并且聚焦一段時(shí)間；然后導(dǎo)播系統(tǒng)會(huì)尋找下一個(gè)顯著區(qū)域，然后更新相機(jī)的聚焦點(diǎn)；如此反復(fù)。相機(jī)通過定義顯著的事件和事件之間的顯著級別來判斷什么是有趣的，什么不那么有趣。如果你定義的有趣的事件比較正確，你設(shè)定的注意停留時(shí)間也比較合理，那么你就能得到一個(gè)相對不錯(cuò)的智能導(dǎo)播系統(tǒng)，幫助你無縫連接游戲的每一個(gè)精彩瞬間。

所有的游戲都是會(huì)緩沖的。你能在游戲里面看到的在線Dota和LOL的直播，至少是在真實(shí)游戲開始的2分鐘以后。因?yàn)锳I系統(tǒng)比觀眾多了2分鐘的信息，所以AI系統(tǒng)可以做到一定的『未卜先知』。比如AI系統(tǒng)提前知道10s之后會(huì)發(fā)生『第一滴血』事件，導(dǎo)播系統(tǒng)就可以提前3s把鏡頭移動(dòng)到這個(gè)事件會(huì)發(fā)生的地點(diǎn)和英雄身上。坐在一旁觀戰(zhàn)的玩家，就能夠看到這個(gè)受害者英雄從HP下降到死亡的全部過程。

綜合到一起，你就會(huì)得到一個(gè)提前幫你安排好的導(dǎo)播系統(tǒng)，讓你輕松觀戰(zhàn)，不用碰一下鼠標(biāo)或鍵盤。

從認(rèn)知研究到游戲開發(fā)

我的智能導(dǎo)播系統(tǒng)的設(shè)計(jì)思路大概就是這樣了。不太重要的具體細(xì)節(jié)當(dāng)然是省略了一部分。至于這個(gè)系統(tǒng)好不好用——至少我們現(xiàn)在是每天都用它。將來等游戲入境中國的時(shí)候，歡迎大家親自嘗試一下我們這一款導(dǎo)播功能。畢竟我知道的現(xiàn)在電子競技的游戲中提供智能導(dǎo)播觀戰(zhàn)功能的游戲并不是很多——實(shí)際上除了Dota和LOL，我并不知道第三個(gè)。

很多人問學(xué)心理學(xué)有什么用，我沒法回答這個(gè)問題。但是我現(xiàn)在可以說，如果你研究『認(rèn)知心理學(xué)』，那么你是可以去開發(fā)游戲的，甚至是開發(fā)即時(shí)策略游戲的游戲引擎。有很多游戲引擎的設(shè)計(jì)服從一些基本的人類認(rèn)知特點(diǎn)，比如人類的視覺知覺、注意系統(tǒng)等等。雖然學(xué)認(rèn)知的人不一定知道游戲渲染怎么做，但是有很多游戲智能系統(tǒng)，學(xué)習(xí)認(rèn)知心理學(xué)的人還是可以去嘗試開發(fā)一下的。

順便說一句，視覺研究搞得好，你也是可以去Blizzard的。我就知道有一個(gè)研究視覺認(rèn)知和視覺注意的PhD，畢業(yè)以后去了Blizzard——當(dāng)然，人家的研究方向似乎就是『電子游戲?qū)θ祟愐曈X和注意的影響』。