国产乱了高清露脸对白-日韩高清在线一区-激情三级hd中文字幕,亚洲一区二区视频免费观看,亚洲精品色综合av网站,女性私密紧致按摩电影

7日，F(xiàn)acebook剛剛宣布開源史上最大的《星際爭霸》游戲數(shù)據(jù)集STARDATA。今天（10日）DeepMind在官方博客上宣布開源星際爭霸2 研究訓(xùn)練平臺SC2LE。AI 巨頭挑戰(zhàn)星際爭霸的角逐愈演愈烈。烏鎮(zhèn)圍棋峰會上，DeepMind CEO 哈薩比斯曾說，星際爭霸將成為AI進步的下一個大考驗。

國內(nèi)AI 資深專家袁泉此前曾深入研究過星際爭霸中的若干AI問題，和UCL共同發(fā)表了多智能體協(xié)作網(wǎng)絡(luò)BiCNet，第一次展現(xiàn)了AI在星際微觀戰(zhàn)斗中的五類智能協(xié)作方式。新智元對此做過專門報道。此次DeepMind 和暴雪最新發(fā)布的星際爭霸 2 AI開放研究平臺的論文中，也多次引用了袁泉團隊的工作。因此，袁老師應(yīng)新智元之邀做了特別點評。他指出了此事的兩點意義：

第一點：星際 2 的搜索和決策空間比 AlphaGo 圍棋大了多個“數(shù)量級”，DeepMind、Facebook 等越來越多的優(yōu)秀團隊參與到這項研究中，很可能創(chuàng)造出更好的下一代AI的新技術(shù)。因為按之前玩圍棋的技術(shù)框架的話，蒙特卡羅樹搜索加深度強化學(xué)習(xí)，應(yīng)該是不能完全解決星際中的問題，尤其是full game智能策略方面的難題。此次DeepMind和暴雪在AI開放平臺、API標(biāo)準(zhǔn)化、性能架構(gòu)上做了不少細致卓越的工作，為今后的研究打下了好的基礎(chǔ)，希望國內(nèi)有志于此方向的老師同學(xué)積極投入到此項研究工作中。

第二點： SC2LE 開放平臺，相對于大家之前做的星際1的平臺，最大的一個優(yōu)勢是提供了很多端到端的內(nèi)容操作的接口，發(fā)展出來可以通過接口像人一樣打星際，進行控制，這種接口是在之前的星際1平臺上不提供的。基于這一點，未來有可能大家可以會看到機器人像人一樣坐在電腦前，操作鼠標(biāo)打星際和高手對決，對機器人等相關(guān)領(lǐng)域也是很好的促進！

DeepMind 最新發(fā)布 SC2LE，推動星際爭霸 2 AI 研究

DeepMind 剛剛在博客中宣布，與合作伙伴暴雪一起，發(fā)布了一套名為 SC2LE （StarCraft II Learning Environment）的工具組件，這套工具組件將加速即時策略游戲星際爭霸 2 中的 AI 研究。

星際爭霸 2 是 2010 年發(fā)布的即時策略游戲

根據(jù) DeepMind 的博客所說，SC2LE 包括：

一個由暴雪開發(fā)的機器學(xué)習(xí) API，能夠讓研究者和開發(fā)者參與到游戲中來。其中還包括面向 Linux 的工具的首次發(fā)布。（ GitHub 地址 ）

一個匿名游戲回放數(shù)據(jù)集。在未來幾周內(nèi)，其大小將從 65k 增加到超過 500k。

一個開源版本的 DeepMind 工具集PySC2，允許研究者較容易地使用暴雪的 feature-layer API 和自己的智能體。

一系列簡單的強化學(xué)習(xí)迷你游戲，使研究者可以在特定任務(wù)上測試智能體性能。

一篇 DeepMind 和暴雪的聯(lián)合論文，論文對作為研究環(huán)境的星際爭霸 2 進行了概述，報告了在迷你游戲上的初始基準(zhǔn)結(jié)果，基于回放的監(jiān)督式學(xué)習(xí)，以及對抗游戲 AI 的 1 v1 ladder 游戲（論文介紹見文后）。

星際爭霸 2 AI 研究進一步瞄準(zhǔn)通用人工智能和真實世界的任務(wù)

DeepMind 一向以開發(fā)能夠?qū)W習(xí)解決復(fù)雜問題的 AI 系統(tǒng)、推進 AI 邊界為使命。從設(shè)計用來研發(fā)通用人工智能和機器學(xué)習(xí)系統(tǒng)的第一人稱視角 3D 游戲平臺 DeepMind Lab ，到圍棋、Atari 這樣的游戲，DeepMind 一直在廣闊多樣的環(huán)境中設(shè)計智能體并測試其能力。

星際爭霸和星際爭霸 2 一直以來都位列最成功的大型游戲之中，相關(guān)比賽已經(jīng)舉辦了 20 多年。其原始游戲就已經(jīng)被 AI 和機器學(xué)習(xí)研究者所用，每年都有 AIIDE bot competition。星際爭霸長盛不衰的部分原因在于其豐富、多層面的游戲過程，這也使得其成為 AI 研究的理想環(huán)境。

關(guān)于星際爭霸作為 AI 研究和智能體“競技場”的歷史，可以參見這篇文章： 星際AI 爭霸 6 年簡史：通用人工智能角斗場，DeepMind 確認應(yīng)戰(zhàn) 。

實際上，早在2016年11 月，DeepMind 工程師  Oriol Vinyals 就在公司博客公布，DeepMind 將和暴雪合作，讓星際爭霸2 成為人工智能研究場景，并開放給所有的人工智能研究者。

Oriol Vinyals 少年時期曾是西班牙的頂級星際爭霸玩家，他當(dāng)時坦言，“要打敗人類職業(yè)選手，機器尚有很長的路要走。

他當(dāng)時在博客中寫道，DeepMind 之所以選擇星際爭霸2作為人工智能研究的目標(biāo)，是因為它的復(fù)雜性：玩家必須做出高級戰(zhàn)略決策，同時還要控制數(shù)百個元素，并快速做出各種決定。Oriol Vinyals 認為，跟國際象棋和圍棋相比，星際爭霸更能模擬真實世界的混亂狀況。他說：“如果要讓智能體程序?qū)W會玩星際爭霸，它需要有效利用記憶，還要能制定長遠計劃，而且能根據(jù)最新信息調(diào)整計劃。”他認為，如果能開發(fā)一套機器學(xué)習(xí)系統(tǒng)，讓它掌握操作星際爭霸的技巧，這種技術(shù)將最終可以用來執(zhí)行真實世界的任務(wù)。

此后，《星際爭霸》的制造公司暴雪娛樂建造總監(jiān) Tim Morten 對媒體確認，AlphaGo 將挑戰(zhàn)《星際爭霸2》。

AI研究者現(xiàn)在可以使用開放工具構(gòu)建自己的模型，來應(yīng)對星際爭霸的技術(shù)挑戰(zhàn)

此次 SC2LE 的發(fā)布，無疑是 DeepMind 將之前的宣言付諸了行動。在這篇最新的博客中，DeepMind 又闡釋道：

舉例來說，如果游戲的目標(biāo)是擊敗對手，游戲者必須采用并權(quán)衡一系列子目標(biāo)，比如采集能源或修建建筑。另外，一局游戲的時長可能長至一小時，這意味著游戲早期采取的一些行動可能長時間得不到回報。最后，地圖上有很大一部分是隱藏的，這意味著智能體必須結(jié)合其記憶力和規(guī)劃能力，才能獲勝。

這款游戲還有其他吸引研究者的特質(zhì)，比如每天都有人數(shù)眾多的狂熱玩家在線比賽，這保證了訓(xùn)練智能體所必需的回放數(shù)據(jù)，也保證了 AI 智能體不缺有實力的對手。

星際爭霸的動作候選空間里有高達 300 種基本動作可被采用，Atari 游戲則大概只有 10 種（如上、下、左、右等）。不僅如此，星際爭霸中的動作還是有層次的，可以被調(diào)整和增強，其中許多都要在 screen 上占據(jù)一個 point。即使screen 尺寸只有 84×84，可選動作也約有 1 億個。

本次發(fā)布意味著，研究者現(xiàn)在可以使用暴雪自己的工具來構(gòu)建自己的任務(wù)和模型，來應(yīng)對上述挑戰(zhàn)了。

這次發(fā)布中的 PySC2 環(huán)境提供了靈活易用的強化學(xué)習(xí)智能體界面。在這一初始發(fā)布中，DeepMind 將游戲分解成了“feature layer”，其中諸如單位類型、血量、地圖可見度這樣的元素彼此是孤立的，同時也保留了游戲的核心視覺和空間元素。

AI 在迷你游戲和完整游戲中表現(xiàn)差異巨大

本次發(fā)布還包括了一系列迷你游戲（mini-games），這是一種將游戲分解成更可控的部分的技術(shù)，可以用于測試智能體在特定任務(wù)中的表現(xiàn)，例如移動視角（camera）、采礦或是選擇操作單位。DeepMind 在博客中表示，希望研究者能夠在這些迷你游戲上測試其技術(shù)，同時也為其他研究者提供新的迷你游戲，用以競賽和評估。

DeepMind 在博客中說，初始研究顯示其智能體在迷你游戲上表現(xiàn)良好，但在完整游戲中，即使強大的baseline 智能體，比如 A3C，也無法打敗最簡單的游戲 AI。下面的視頻展示了一個早期訓(xùn)練智能體（左），無法讓其農(nóng)民采礦，而這對于人類來說完全不成問題。訓(xùn)練之后（右），智能體采取的動作更為合理了，但還需要在深度強化學(xué)習(xí)和相關(guān)領(lǐng)域取得更多的突破，才能讓其真正應(yīng)對競賽要求。

DeepMind 最后在博客中表示，使得他們的智能體學(xué)習(xí)更強大策略的一個技術(shù)是模仿學(xué)習(xí)(Imitation Learning)。暴雪將持續(xù)放出成千上萬收集自星際爭霸 2 ladder 的匿名游戲回放，多虧這一點，這種訓(xùn)練方法變得容易很多。這將不僅使研究者可以訓(xùn)練有監(jiān)督智能體進行游戲，而且也將打開其他有趣的研究領(lǐng)域，例如序列預(yù)測和 long-term memory。DeepMind 希望此次新工具的發(fā)布將進一步推動 AI 社區(qū)已經(jīng)在星際爭霸 1 中所做的工作，鼓勵更多的深度強化學(xué)習(xí)研究，使研究者更輕松地聚焦領(lǐng)域前沿研究。

DeepMind 論文：星際爭霸 2，強化學(xué)習(xí)的新挑戰(zhàn)

論文摘要：

本文介紹了SC2LE（StarCraft II Learning Environment），這是基于“星際爭霸2”游戲的強化學(xué)習(xí)環(huán)境。這個領(lǐng)域為強化學(xué)習(xí)提出了一個新的大挑戰(zhàn)，提出了以前大多數(shù)工作未考慮到的更具挑戰(zhàn)性的課題。

這是一個多智能體問題，并伴有多個玩家的互動。由于智能觀察地圖中的一部分，所以存在著不完全的信息；它具有涉及數(shù)百個單位的選擇和控制的巨大的動作空間；它的狀態(tài)空間巨大，只能從原始輸入特征面觀察；它需要超過數(shù)千步的長期戰(zhàn)略，延遲了credit 分配。

我們描述了星際爭霸2 的觀察、動作和獎勵參數(shù)，并提供了一個開源的基于Python 的界面，用于與游戲引擎進行溝通。除了游戲的主地圖，我們提供了一系列迷你游戲，聚焦于星際爭霸2 的不同元素。對于游戲的主地圖，我們還提供了一個來自人類職業(yè)玩家（匿名）的游戲回放數(shù)據(jù)的附帶數(shù)據(jù)集。

我們給出了從該數(shù)據(jù)訓(xùn)練的預(yù)測游戲結(jié)果和玩家行為的神經(jīng)網(wǎng)絡(luò)的初始基線結(jié)果。最后，我們給出了一些權(quán)威的深度強化學(xué)習(xí)智能體應(yīng)用于星際爭霸 2 的初步基線結(jié)果。在迷你游戲中，這些智能體學(xué)習(xí)達到了與新手玩家相當(dāng)?shù)挠螒蛩?。但是，在主游戲?xùn)練中，這些智能體無法取得重大進展。SC2LE為探索深度強化學(xué)習(xí)算法和架構(gòu)提供了一個新的、具有挑戰(zhàn)性的環(huán)境。

上圖：星際爭霸 2 學(xué)習(xí)環(huán)境 SC2LE，圖中展示的是嵌入到一個神經(jīng)網(wǎng)絡(luò)智能體中的組件。

PySC2 視角。在圖的左邊展示了人類可理解的角度，右邊彩色的版本則是 feature layer 。比如，例如，地形高度，霧戰(zhàn)，爬行，攝像機位置和玩家身份，都顯示在功能圖層的頂層中。 視頻地址 

上圖是人類在星際爭霸 2 上的玩法與 PySC2 顯示的玩法的比較。我們將行動空間設(shè)計得盡可能貼近人類行為。第一行顯示游戲畫面，第二行是人類動作，第三行是PySC2中采取的邏輯動作，第四行是由環(huán)境暴露的動作（以紅色表示，智能體在每個時間步驟中的選擇）。請注意，前兩列不具有“構(gòu)建供應(yīng)”操作的功能，在這些情況下智能體尚不能使用此功能，因為必須首先選擇 worker。

本論文考慮的基礎(chǔ)智能體的網(wǎng)絡(luò)架構(gòu)

此前，F(xiàn)acebook 剛剛公布了史上最大的《星際爭霸:母巢之戰(zhàn)》游戲數(shù)據(jù)集

2017年8月7日，F(xiàn)acebook 的四名科學(xué)家 Zeming Lin, Jonas Gehring, Vasil Khalidov, Gabriel Synnaeve 公布了史上最大的《星際爭霸:母巢之戰(zhàn)》游戲數(shù)據(jù)集：365GB，包含6萬游戲記錄，15億幀，4.9億玩家操作。

Github鏈接

在提交的論文中《STARDATA: A StarCraft AI Research Dataset》中，研究者們介紹，他們發(fā)布的STARDATA是一個包含了65646條星際爭霸游戲記錄的數(shù)據(jù)庫，包含了15.35億幀和4.96億玩家操作。

“我們提供完整的游戲狀態(tài)數(shù)據(jù)以及可以在“星際爭霸”中查看的原始重播。游戲狀態(tài)以每3幀為頻次進行記錄，確保它們適用于各種機器學(xué)習(xí)任務(wù)，如戰(zhàn)略分類，反向強化學(xué)習(xí)，模擬學(xué)習(xí)，前向建模，部分信息提取等。我們使用TorchCraft來提取和存儲數(shù)據(jù)，它可以將數(shù)據(jù)格式標(biāo)準(zhǔn)化，用于從重放中讀取和直接從游戲中讀取。此外，數(shù)據(jù)可以在不同的操作系統(tǒng)和平臺上使用。數(shù)據(jù)集只包含了有效的，非損壞的重放，其質(zhì)量和多樣性通過一些啟發(fā)式來確保。我們用各種統(tǒng)計數(shù)據(jù)來展示了其數(shù)據(jù)的多樣性，并提供從數(shù)據(jù)集中受益的任務(wù)的例子。”

未來機器人像人一樣坐在電腦前，操作鼠標(biāo)打星際

國內(nèi)AI 資深專家袁泉此前曾深入研究過星際爭霸中的若干AI問題，和UCL共同發(fā)表了多智能體協(xié)作網(wǎng)絡(luò)BiCNet，第一次展現(xiàn)了AI在星際微觀戰(zhàn)斗中的五類智能協(xié)作方式。新智元對此做過專門報道。此次DeepMind 和暴雪最新發(fā)布的星際爭霸 2 AI開放研究平臺的論文中，也多次引用了袁泉團隊的工作。因此，袁老師應(yīng)新智元之邀做了特別點評。他指出了此事的兩點意義：

第一點：星際 2 的搜索和決策空間比 AlphaGo 圍棋大了多個“數(shù)量級”，DeepMind、Facebook 等越來越多的優(yōu)秀團隊參與到這項研究中，很可能創(chuàng)造出更好的下一代AI的新技術(shù)。因為按之前玩圍棋的技術(shù)框架的話，蒙特卡羅樹搜索加深度強化學(xué)習(xí)，應(yīng)該是不能完全解決星際中的問題，尤其是full game智能策略方面的難題。此次DeepMind和暴雪在AI開放平臺、API標(biāo)準(zhǔn)化、性能架構(gòu)上做了不少細致卓越的工作，為今后的研究打下了好的基礎(chǔ)，希望國內(nèi)有志于此方向的老師同學(xué)積極投入到此項研究工作中。

第二點： SC2LE 開放平臺，相對于大家之前做的星際1的平臺，最大的一個優(yōu)勢是提供了很多端到端的內(nèi)容操作的接口，發(fā)展出來可以通過接口像人一樣打星際，進行控制，這種接口是在之前的星際1平臺上不提供的?；谶@一點，未來有可能大家可以會看到機器人像人一樣坐在電腦前，操作鼠標(biāo)打星際和高手對決，對機器人等相關(guān)領(lǐng)域也是很好的促進！

人工智能的下一個大考：星際爭霸

過去十年 AI 領(lǐng)域取得了巨大進展。借助標(biāo)簽數(shù)據(jù)監(jiān)督，機器在一定程度上超過了人類的視覺認知和語音識別能力。同時，單個 AI 單元（又名智能體）在多項游戲中擊敗了人類，包括 Atari 視頻游戲、圍棋和德州撲克。

然而，真正的人類智慧包含社會和協(xié)作智能，這是實現(xiàn)通用人工智能（AGI）宏偉目標(biāo)的基礎(chǔ)。集體的努力可以解決個體無法解決的問題。即使像螞蟻這樣弱小的個體，當(dāng)其形成社會組織時，也可以完成例如獵食、修建一個王國甚至發(fā)動一場戰(zhàn)爭這樣有高度挑戰(zhàn)性的任務(wù)。

有趣的是，在即將到來的算法經(jīng)濟時代，在一定程度上具有人工集體智能的 AI 智能體開始在多個領(lǐng)域出現(xiàn)。典型的例子包括股票市場上的交易機器人游戲，廣告投標(biāo)智能體通過在線廣告交易平臺互相競爭，電子商務(wù)協(xié)同過濾推薦者通過人群的智慧預(yù)測用戶興趣等等。AGI 的下一個重大挑戰(zhàn)是回答大規(guī)模多個 AI 智能體如何從激勵和經(jīng)濟約束共存的環(huán)境中吸取經(jīng)驗，學(xué)習(xí)人類水平的合作或競爭。隨著深度加強學(xué)習(xí)（DRL）的蓬勃發(fā)展，研究人員開始借助增強后的學(xué)習(xí)能力，著手解決多代理協(xié)作問題。

Fortune報道稱，DeepMind的目標(biāo)是讓計算機擊敗最頂級的人類星際爭霸玩家。“這樣的勝利將是人工智能的重大突破，但由于掌握游戲所需的復(fù)雜性，這可能還需要很長的時間。雖然DeepMind已經(jīng)成功地創(chuàng)建了在玩經(jīng)典Atari游戲時表現(xiàn)非常出色的AI軟件，但星際爭霸卻帶來了更加困難的挑戰(zhàn)。”

Fortune的報道還說，DeepMind CEO Demis Hassabis 2017年5月在烏鎮(zhèn)圍棋峰會上曾表示， 他的團隊認為，星際爭霸是推動人工智能進步的一個大考驗。