В 2018 году Google победил чемпиона по Го с помощью нейронной сети AlphaGo, и было столько шума. Появились новые отличные библиотеки машинного обучения с открытым исходным кодом, использующие домашние GPU для ускорения процесса обучения.

Я принял решение попробовать сделать это с Abak, но когда я только начинал, я едва знал, что такое нейронная сеть. У меня было небольшое искушение в колледже (1996), но без данных, GPU и цели подступиться к этому было сложно. Более того: с математической стороны нейронные сети — это тяжёлая тема, и нужно много вдохновения.

После долгих интенсивных и одержимых исследований мне удалось построить модель и заставить её учиться.

Стоя на плечах гигантов, моим первым намерением было учиться у доктора Джеральда Тесауро, который разработал TD-Gammon в 90-х годах. Если я правильно помню, это была первая практическая реализация алгоритма обучения с подкреплением.

Но поскольку Abak — двумерная игра, я не мог использовать предложенную модель и должен был разработать свою собственную. Я решил использовать выходные данные некоторых алгоритмов как часть модели в качестве экспертной информации, чтобы нейронной сети было легче учиться. Мне казалось, что я жульничаю, делая это.

Вот сравнение обеих моделей — для нард и для Abak.

Версии:

1.- Python Cumpy (TD-V1).

Первая версия этого ИИ была обучена на чистом Python с использованием Cumpy, библиотеки, подобной Numpy, которая работает на GPU. Я хотел учиться с нуля, поэтому, хотя какое-то время я играл с Tensorflow, я решил пойти без прикрытия (ну, вооружённый фантастической комбинацией Python и Cumpy).

Особенности:

• Одна сеть, которая оценивает шансы команды 0 на победу в партии.
• Не учитывает очки.
• Не имела флага «кто бросает следующим».
• Не имела карты силы.
• Один скрытый слой с сигмоидными активаторами.
• Потребовалось 45 000 партий, чтобы победить мой предыдущий ИИ, написанный с экспертной информацией (GOFAI).
• Обучалась на 4 500 000 партий. И побеждала GOFAI в 75% случаев.
• Она была в продакшене 2 года.

2.- Tensorflow (TD-V2).

Моей проблемой с версией 1 было то, что она плохо рассчитывала шансы на победу, потому что была обучена без флага «кто бросает следующим». Каким-то образом результаты нейронной сети были довольно хороши для выбора хорошего хода, но с математической точки зрения они были непоследовательны. Версия 2 решила эту проблему и добавила новую сеть для расчёта шансов на завершение партии в 1, 2 или 3 очка.

На этот раз я выбрал Tensorflow для обучения новой модели, потому что хотел изучить фреймворк, и нашёл отличный пример для начала.

Особенности:

• Одна сеть для расчёта шансов команды 0 на победу в партии.
• Одна сеть для расчёта вероятности завершения партии в 1, 2 или 3 очка.
• Включает новую карту силы.
• Два скрытых слоя с различными активаторами: Leaky RELU для скрытых слоёв и сигмоид в выходном слое.
• Потребовалось 12 000 партий, чтобы побеждать TD-V1 в 50% случаев.
• Обучалась на 350 000 партий и достигла 80% процента побед над TD-V1.

3.- Версия 3: В ожидании.

На финальном этапе принятия решения о выборе лучшего хода используется простой алгоритм, который ищет лучшее эквити [%W*%p1+%W*%p2+%W*%p3].

В зависимости от цели матча, количества очков, необходимых каждому игроку для победы, и значения куба, он по-разному взвешивает выходные данные сетей.

Я хотел бы сделать нейронную сеть, которая будет это обрабатывать. Это будет V3. В данный момент не в разработке.

Модель нейронной сети Abak: