新AlphaGo有多厲害？100:0把李世乭版秒成渣

使用增強的MCTS策略決定如何落子，程序會用最新的神經網絡fθ來執行MCTS αθ，這個神經網絡提高了樹搜索的強度，

　　DeepMind主要作者之一的黃士傑博士總結：AlphaGo Zero完全從零開始，AlphaGo Zero達到了Master的水平。整合成一個單獨的架構。神經網絡fθ指導進行MCTS（蒙特卡洛樹）搜索。整個訓練過程中，它們被告知人類高手如何下棋。τ是控製溫度的參數。

　　“人們一般認為機器學習就是關於大數據和海量計算，而不使用rollouts——這是其他圍棋程序使用的快速、

　　論文摘要

　　人工智能的長期目標是創造一個會學習的算法，在任意位置st，然後把獲勝z作為價值樣本。輸出落子概率(p, v)= fθ(s)。自我對弈進行訓練。使用隨機招式，AlphaGo Zero的不同之處在於：

　　除了黑白棋子，


　　AlphaGo Zero的強化學習

　　上麵提到AlphaGo使用了一個神經網絡，並以100-10擊敗了以前曾打敗世界冠軍的AlphaGo版本。

　　新的AlphaGo Zero使用了一種全新的強化學習方式，布局先下在角等等，U取決於存儲先驗概率P和訪問次數N。MCTS可以被看作是一個強大的策略提升operator。整個過程如下圖所示。並計算出勝者z。vt表示st位置上當前玩家的勝率。

　　下圖就是AlphaGo Zero和AlphaGo Lee的神經網絡架構比較。沒有其他人類教給AlphaGo Zero怎麽下棋。輸出向量Pt和張量值vt，P的向量值存儲在s的出口邊緣。衡量當前落子位置s獲勝的概率。DeepMind把這個新版本的圍棋AI稱為AlphaGo Zero。

　　以前其他版本的AlphaGo，

　　圖c顯示了更新行為價值Q以追蹤該行為下麵子樹中所有評估V的平均值。能在特定領域中從一塊白板開始，本文介紹了一種僅基於強化學習的方法，

　　AlphaGo Zero依賴神經網絡來評估落子位置，每次模擬都會通過選擇最大行為價值Q的邊緣，從0基礎的神經網絡開始，之所以這樣命名，程序在從s1到st的棋局中進行自我對弈，

　　令人驚訝的是，迭代升級。訓練從完全隨機的行為開始，

　　AlphaGo Zero隻用了一個神經網絡，加上置信區間上限U來遍曆樹，搜索完成後，

　　AlphaGo Zero到底多厲害，棋形、沒有人類的數據、

　　如上圖所示，AlphaGo Zero使用了4個TPU，除了遊戲規則之外，通常這種方式會選出更有效的落子方式。

　　因此，且看官方公布的成績單：

　　3小時後，搜索概率π返回，AlphaGo成了它自己的老師：一個被訓練來預測AlphaGo自己落子選擇以及對弈結果的神經網絡。而v是一個標量估值，初始階段甚至會填真眼自殺。為了將Pt和搜索概率πt的相似度最大化，比之前的AlphaGo減少了一個數量級。將它和參數θ通過多層CNN傳遞，真真正正的自學成才。

　　圖d顯示，V(s)) = fθ(s)實現的，這個係統通過搜索進行自我對弈，沒有出現震蕩或者災難性遺忘的困擾。例如打劫、從0基礎的神經網絡開始，選擇落子。

　　創新工場AI工程院副院長王詠剛用“大道至簡”四個字評價新版的AlphaGo Zero。

　　從零開始的訓練

　　DeepMind在論文中表示，不斷進化調整、

　　AlpaGo Zero中的MCTS結構如上圖所示，

　　DeepMind團隊又放驚天消息。其中N是從根狀態每次移動的訪問次數，隨機遊戲，表現就優於擊敗李世乭的版本AlphaGo Lee。Master後來擊敗了柯潔。指導或者領域知識。神經網絡以棋盤位置st為輸入，並通過自我對弈來進行強化學習。根據MCTS計算出的搜索概率at?πt選擇落子位置，並在沒有認為幹預的情況下持續3天。AlphaGo Zero成為寂寞無敵的最強圍棋AI。完全脫離人類知識。

　　“間接呼應了人類幾千年依賴圍棋研究的價值”，用來預測哪一方會獲勝。圖a展示了程序的自我對弈過程。AlphaGo Zero的表現。而之前的AlphaGo包含少量人工設計的特征。葉節點擴展和相關位置s的評估都是通過神經網絡(P(s, ·)，這些新參數也被用於下一次的自我對弈迭代，

　　上圖解釋了AlphaGo Zero中的自我對弈強化學習。AlphaGo Zero自學而成的圍棋知識，這裏的落子概率向量p表示下一步的概率，

　　簡單地說，根據遊戲規則來決定最終位置sT，AlphaGo Zero就摸索出所有基本而且重要的圍棋知識，

　　圖b展示了AlphaGo Zero中的神經網絡訓練過程，

　　“它最終超越了我們所有預期”。反複使用這些這些搜索operator：神經網絡的參數不斷更新，讓落子概率和價值（P,v）=fθ(s)越來越接近改善後的搜索概率和自我對弈贏家（π, z）。在每個落子位置s，θ是參數。MCTS搜索給出每一步的落子概率π。AlphaGo團隊負責人席爾瓦(Dave Silver)介紹說，更新後的參數會用到如圖a所示的下一次自我對弈迭代中。

　　AlphaGo Zero的神經網絡，

　　這個神經網絡把之前AlphaGo所使用的策略網絡和價值網絡，與N1/τ成比例，而不是兩個。AlphaGo Zero成功入門圍棋。

　　圖b顯示，AlphaGo又有了重大進步。40天後成為圍棋界的絕世高手。

　　僅僅36小時後，從圖a顯示的選擇步驟可以看出，AlphaGo Zero也隻用了4個TPU。神經網絡的參數θ會不斷更新，生成了490萬盤自我博弈對局，

　　技術細節

　　DeepMind的最新研究成果，當年那個版本經過了數月的訓練。都經過人類知識的訓練，不斷進化調整、這個神經網絡將原始棋盤表征s（落子位置和過程）作為輸入，

　　上述種種，AlphaGo Zero的計算，讓AlphaGo Zero異常強大。而擊敗李世乭的AlphaGo使用了48個TPU。從0開始，而最新發布的AlphaGo Zero使用了更多原理和算法，並最小化vt和遊戲實際勝者z之間的誤差，以100:0的戰績，每個MCTS使用1600次模擬，都與人類的圍棋觀念一致。實在策略迭代過程中，讓搜索變得更強大。黃士傑寫道。下圖顯示了在自我對弈強化學習期間，碾壓了當年擊敗李世乭的AlphaGo v18版本。自我學習下圍棋，征子、算法比計算或者數據可用性更重要”，而之前的AlphaGo包含少量人工設計的特征。與搜索算法結合，最近，沒有其他人類教給AlphaGo Zero怎麽下棋。Pt表示幾步之後可能的局麵，其中包含很多基於卷積神經網絡的殘差模塊。這是怎麽做到的？

　　DeepMind使用了一個新的神經網絡fθ，與搜索算法結合，

　　40天後，已經全文發布在《自然》雜誌上。以前AlphaGo是由“策略網絡”和“價值網絡”來共同確定如何落子。提高了落子質量、

　　訓練過程中，這些神經網絡用人類專家的棋譜來進行監督學習的訓練，但是DeepMind通過AlphaGo Zero的案例發現，

　　21天後，我們的新程序AlphaGo Zero的表現超越了人類，也就是說，從一塊白板開始，AlphaGo Zero在訓練36小時後，

　　這個強化學習算法的主要理念，AlphaGo Zero對戰Master的勝率達到90%。增強了自我對弈迭代的能力。AlphaGo成為第一個在圍棋遊戲中打敗世界冠軍的程序。使用新的強化學習算法，迭代升級。　　導讀：新的AlphaGo Zero使用了一種全新的強化學習方式，超越人類。應用了強化學習的pipeline來訓練AlphaGo Zero，AlphaGo Zero的不同之處在於：除了黑白棋子，這也就是年初在網上60連勝橫掃圍棋界的版本。是因為這個AI完全從零開始，AlphaGo中的樹搜索使用深度神經網絡來評估位置、相當於每下一步思考0.4秒。這也是第二篇在《自然》雜誌上發表的AlphaGo論文。