作者：陈村链接：https://zhuanlan.zhihu.com/

作者：陈村
链接：https://zhuanlan.zhihu.com/p/20634396
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

- AlphaGo怎么这次怎么做到的？

那这次出战的AlphaGo，又是有什么独门绝技呢？类似之前提到的MinMax搜索框架，AlphaGo（以及现在很多其他的围棋AI），在决定下一步棋怎么走的时候，采用了MCTS（Monte Carlo Tree Search）的搜索框架。

大致思想可类比MinMax算法：MCTS算法，对于给定的当根前节点，通过计算机模拟推演以当前根节点出发的各种可能的走法，配合高效的“剪枝”算法来控制搜索空间大小，并用演算到最后一步的结果来反过来影响当前跟节点下一步棋的选择。之前也提到过围棋相对于传统棋类AI的设计难点：1）可能的走法太多（即Branching Factor较大）导致搜索空间非常大 2）没有一个好的估值函数对进行中的围棋棋局计算一个静态得分。于是MCTS针对这两个问题提出解决方案：搜索空间更大我们就采取比Alpha-beta剪枝更激进的剪枝策略，只把有限的计算资源留给最最有希望的走法（后面会提到的Selection、Expansion）；对于中间棋局好坏很难估计，那我们就一路模拟到最后分出胜负为止（后面会提到的Simulation）！

MCTS算法是一个多轮迭代算法，每一轮迭代都会以此经历四个阶段：Selection，Expansion，Simulation和Back Propagation。下图展示了MCTS的某一时刻搜索空间的情形，当前有有限个子节点（而不是所有的可能性组成的全搜索空间）正在算法的搜索范围之内。

결과 (한국어) 1:

저자: 첸링크: https://zhuanlan.zhihu.com/p/20634396소스: 알아저작권은 저자에 속한다. 상업적인 reprints 인증, 비-상업적 무단 전재를 얻을, 소스를 표시 하시기 바랍니다 작성자를 문의 하시기 바랍니다.-AlphaGo 그것을 어떻게?이 놀이의 독특한 기술을 어떻게 그 AlphaGo 당신은? 다음 행동을 하는 방법을 결정할 때 앞서 언급 한 프레임 워크, AlphaGo (및 많은 다른 체스 인공 지능), 유사한 MinMax 검색 MCTS (몬테카를로 트리 검색) 검색 프레임 워크를 사용 합니다.대략 비교 MinMax 알고리즘: MCTS, 효과적인 "잘라내기" 알고리즘 검색 공간의 크기를 제어 컴퓨터 시뮬레이션 리허설의 가능한 모든 루트에서 시작 하 여 루트 노드를 이동 하 고 이동, 차례 차례로, 마지막 단계로 계산의 결과 영향을 미치는 현재 노드 선택 하기 전에 주어진을 위한 알고리즘. 전통적인 체스 인공 지능 상대 게임 디자인 어려움 앞에서 언급 한: 너무 많이 이동 1) 수 있습니다 (즉, 더 큰 분기 요소) 정적의 게임 점수를 계산 하지 좋은 평가 기능 매우 큰 검색 공간에 2)입니다. 2 제안 된 솔루션에 대 한 MCTS: 검색 더 많은 공간을 우리가 걸릴 정리 알파-베타 가지 치기 전략 보다 더 급진적인, 유일한 휴가 제한 (나중에 선택, 확장 함) 가장 유망한 움직임에 컴퓨팅 리소스, 중간 게임 좋은 또는 나쁜 그것은 예측 하기 어려운, 우리 (시뮬레이션 나중에 언급) 최종 승자까지 시뮬레이션!MCTS 알고리즘은 반복 알고리즘, 각 반복 4 단계를 통해 이동 하는 것입니다: 선택, 확장, 시뮬레이션, 다시 전파. 현재 아래 다이어그램에서는 MCTS 검색 공간, 시간이 제한 된 자식 노드 (보다는 오히려 공간의 모든 가능성의 전체 검색) 검색 범위입니다.

결과 (한국어) 2:

분석 : 첸 촌의
링크 : HTTPS : //zhuanlan.zhihu.com/p/20634396의
출처 : 거의 아는
저자의 저작권을. 상업 재판 비상업적 무단 전재 소스를 알려주십시오 승인 저자에게 문의하시기 바랍니다. -이 방법을 수행하는 방법 AlphaGo? 그럼, 이번에는 AlphaGo을했다,하지만 기술 그 독특한 무언가가있다? 유사 MINMAX 검색 프레임 워크가 이전에 이동하는 방법을 결정하는, AlphaGo (뿐만 아니라 다른 많은 체스 AI)를 언급 할 때 MCTS (몬테 카를로 트리 검색) 검색 프레임 워크를 사용하여 다음 이동. 생각 대략 유사한 MINMAX 알고리즘 : MCTS 알고리즘의 루트 노드는 이전 탐색 영역의 크기를 제어하기 위해 효율적으로 "가지 치기"알고리즘에 모든 가능한 이동을 시작하고, 현재의 루트 컴퓨터 시뮬레이션 공제에 의해 주어진 경우, 악영향 다음 움직임으로 현재 선택된 노드의 결과에 영향을 미치는 최종 단계를 계산하기 위해 사용된다. 1) 법을 너무 멀리 할 수는 (즉, 좋은 평가 기능이없는 요인 리드를 분기)보다 큰 매우 큰 검색 공간 2) 이동을 수행 또한 전통적인 체스 AI 디자인 문제에 대해 앞서 언급 가서 체스는 정적 점수를 계산합니다. 이 두 가지 문제에 대한 그래서 MCTS 해결책을 제안한다 : 검색 공간이 더 우리가 알파 베타 가지 치기 더 급진적 가지 치기 전략, 가장 유망한 이동을 위해 예약 만 제한된 컴퓨팅 자원을 (가지고 이후에 언급 될 것입니다 선택, 확장)에, 좋은지 나쁜지에 대한 중간 체스 게임을 추정하기가 어렵습니다, 우리는 모든 방법을 최종 우승자로 시뮬레이션 지금까지 () 이후 시뮬레이션을 언급 할 것입니다! 선택, 확장, 시뮬레이션 및 위로 전파 : MCTS 알고리즘은 다중 반복 알고리즘, 네 단계를 통해이 라운드에서 각각의 반복이다. 다음 그림은 검색 공간 MCTS 일정 시간 내에 상황 표시, 현재 제한 자식 노드 (그러나 전체 탐색 공간으로 이루어진 모든 가능성) 알고리즘을 검색한다.

결과 (한국어) 3:

저자: 陈村링크: https://zhuanlan.zhihu.com/p/20634396출처: 알 수 있겠는가저자 모든 저작권 돌아가다.상업 전재 연락 저자 획득 인증, 꼭 좀 상업 전재 출처를 밝혀주세요.- AlphaGo 어떻게 이번 어떻게 했어요?그럼 이번 출전 하는 AlphaGo, 또 무슨 독보적인 절기 있어요?비슷한 전에 말씀하셨던 MinMax 검색 프레임, AlphaGo (및 현재 많은 다른 바둑 AI) 을 결정 다음 수를 어떻게 갈 때, 채택 MCTS (Monte Carlo Tree 검색) 검색 틀.대체로 사상 정말 유추 MinMax 알고리즘: MCTS 알고리즘, 주어진 때 루트 전에 노드 대해 통해 컴퓨터 시뮬레이션 추정 은 현재 루트 노드 출발 각종 가능한 가 법 을 협조 고효율 "가지치기 "알고리즘 장악하게 검색 공간, 병용 연산 끝까지 한 걸음 결국 온 거꾸로 영향을 현재 따라 노드 다음 수 있습니다.전에도 언급 바둑 건가요, 전통 보드 AI 디자인 난점을: 1) 가능한 갈 수가 너무 많이 (즉 Branching Factor 비교적) 검색 공간 매우 큰 2) 안 좋은 가치 평가 함수 진행 중 바둑 바둑 대한 계산 한 정지 점수.그래서 MCTS 이 두 문제에 대해 제기한 해결 방안: 검색 공간 더 큰 우리 취한다 Alpha-beta 전지 보다 더 급진적인 가지치기 정책을 그저 한정된 자원을 남겨 계산 가장 희망이 있는 가 법 (뒤에 있을 줄 Selection, Expansion); 중간 바둑 좋고 나쁨을 대해 매우 어려운 것으로, 그럼 한 길 아날로그 끝까지 승부가 나는 때까지 (뒤에 할 줄 Simulation)!MCTS 알고리즘 하나 더 휠 반복 알고리즘, 매 한 바퀴 반복 모두 이를 경력 4 단계: Selection, Expansion, Simulation 및 Back Propagation.下图 전시 MCTS 어느 순간 검색 공간 상황이 현재 유한 키가 노드 있다 (때문에 모든 가능성, 아니, 구성된 전 검색 공간) 지금 알고리즘 검색 범위 안에.