AlphaGo（阿爾法狗）戰(zhàn)勝了柯潔，人工智能贏了，贏家仍然是人類！
之前介紹過深度強化學習DRL，其中一個最最經(jīng)典的應(yīng)用就是谷歌DeepMind團隊研發(fā)的圍棋程序AlphaGo（阿爾法狗）。AlphaGo的勝利將深度強化學習推上新的熱點和高度，成為AI人工智能歷史上一個新的里程碑。
有必要跟大家一起探討一下AlphaGo（阿爾法狗），了解一下AlphaGo背后神奇的AI力量。
圍棋的程序設(shè)計：
圍棋是一個完美的、有趣的數(shù)學問題。
圍棋棋盤是19x19路，所以一共是361個交叉點，每個交叉點有三種狀態(tài)，可以用1表示黑子，－1表示白字，0表示無子，考慮到每個位置還可能有落子的時間、這個位置的氣等其他信息，可以用一個361 ＊ n維的向量來表示一個棋盤的狀態(tài)。則把一個棋盤狀態(tài)向量記為s。
當狀態(tài)s下，暫時不考慮無法落子的地方，可供下一步落子的空間也是361個。把下一步的落子的行動也用361維的向量來表示記為a。
于是，設(shè)計一個圍棋人工智能的程序，就轉(zhuǎn)變?yōu)椋喝我饨o定一個s狀態(tài)，尋找最好的應(yīng)對策略a，讓程序按照這個策略走，最后獲得棋盤上最大的地盤。
谷歌DeepMind的圍棋程序AlphaGo（阿爾法狗）就是基于這樣思想設(shè)計的。
AlphaGo概述：
AlphaGo（阿爾法狗）創(chuàng)新性地將深度強化學習DRL和蒙特卡羅樹搜索MCTS相結(jié)合， 通過價值網(wǎng)絡(luò)（value network）評估局面以減小搜索深度， 利用策略網(wǎng)絡(luò)（policy network）降低搜索寬度， 使搜索效率得到大幅提升， 勝率估算也更加精確。
MCTS必要性：
AlphaGo（阿爾法狗）系統(tǒng)中除了深度強化學習DRL外，為什么還需要蒙特卡羅樹搜索？
圍棋棋面總共有19 ＊ 19 ＝ 361個落子位置。假如計算機有足夠的計算能力，理論上來說，可以窮舉黑白雙方所有可能的落子位置，找到最優(yōu)或次優(yōu)落子策略。如果窮舉黑白雙方所有可能的落子位置，各種組合的總數(shù)，大約是 250＾150 數(shù)量級，即圍棋的計算復(fù)雜度約為250的150次方。假如采用傳統(tǒng)的暴力搜索方式（遍歷搜索方式），用當今世界最強大云計算系統(tǒng)，算幾十年也算不完。按照現(xiàn)有的計算能力是遠遠無法解決圍棋問題的。早期計算機圍棋軟件通過專家系統(tǒng)和模糊匹配縮小搜索空間， 減輕計算強度， 但受限于計算資源和硬件能力， 實際效果并不理想。
但是到了2006年，蒙特卡羅樹搜索的應(yīng)用標志著計算機圍棋進入了嶄新階段。
AlphaGo網(wǎng)絡(luò)結(jié)構(gòu)：
網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：
AlphaGo系統(tǒng)組成：
AlphaGo（阿爾法狗）系統(tǒng)主要由幾個部分組成：
1．策略網(wǎng)絡(luò)（Policy Network）：給定當前圍棋局面，預(yù)測／采樣下一步的走棋。
2．快速走子（Fast rollout）：目標和策略網(wǎng)絡(luò)一樣，只不過圍棋有時間限制，需要在規(guī)定時間內(nèi)適當犧牲走棋質(zhì)量情況下，快速落子，速度要比策略網(wǎng)絡(luò)要快1000倍。
3．價值網(wǎng)絡(luò)（Value Network）：給定當前圍棋局面，估計是白勝還是黑勝。
4．蒙特卡羅樹搜索（Monte Carlo Tree Search）：不窮舉所有組合，找到最優(yōu)或次優(yōu)位置。
把以上這四個部分結(jié)合起來，形成一個完整的AlphaGo（阿爾法狗）系統(tǒng)。
蒙特卡洛樹搜索 （MCTS） 是一個大框架，許多博弈AI都會采用這個框架。強化學習（RL）是學習方法，用來提升AI的實力。深度學習（DL）采用了深度神經(jīng)網(wǎng)絡(luò) （DNN），它是工具，用來擬合圍棋局面評估函數(shù)和策略函數(shù)的。蒙特卡洛樹搜索 （MCTS） 和強化學習RL讓具有自學能力、并行的圍棋博弈算法成為可能。深度學習（DL）讓量化地評估圍棋局面成為了可能。
小結(jié)：
可以說 AlphaGo 最大優(yōu)勢就是它應(yīng)用了通用算法，而不是僅局限于圍棋領(lǐng)域的算法。AlphaGo勝利證明了像圍棋這樣復(fù)雜的問題，都可以通過先進的AI人工智能技術(shù)來解決。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
