2018 besiegte Google den GO-Weltmeister mit seinem AlphaGo Neuronalen Netzwerk, und es gab so viel Aufregung. Neue hervorragende Open-Source-Machine-Learning-Bibliotheken wurden verfügbar und nutzten Heim-GPUs, um den Trainingsprozess zu beschleunigen.

Ich traf die Entscheidung, es mit Abak zu versuchen, aber als ich anfing, wusste ich kaum, was ein neuronales Netzwerk ist. Ich hatte eine kleine Versuchung an der Universität (1996), aber ohne Daten, eine GPU und ein Ziel war es komplex anzugehen. Außerdem: Mathematisch gesehen sind Neuronale Netzwerke ein schweres Thema, und man braucht viel Inspiration.

Nach einer Menge intensiver und obsessiver Recherche war ich in der Lage, ein Modell zu bauen und es lernen zu lassen.

Auf den Schultern von Giganten stehend, war mein erster Ansatz, von Dr. Gerald Tesauro zu lernen, der TD-Gammon in den 90er Jahren entwickelte. Wenn ich mich richtig erinnere, war dies die erste praktische Implementierung eines Reinforcement-Learning-Algorithmus.

Aber da Abak ein zweidimensionales Spiel ist, konnte ich das vorgeschlagene Modell nicht verwenden und musste mein eigenes entwickeln. Ich entschied mich, die Ausgabe einiger der Algorithmen als Teil des Modells als Expertenwissen zu verwenden, damit das NN den Lernprozess einfacher hätte. Es fühlte sich an wie Schummeln.

Hier ist ein Vergleich zwischen beiden Modellen, Backgammon und Abak.

Versionen:

1.- Python Cumpy (TD-V1).

Die erste Version dieser KI wurde in reinem Python mit Cumpy trainiert, einer Numpy-ähnlichen Bibliothek, die auf der GPU läuft. Ich wollte von Grund auf lernen, also obwohl ich eine Weile mit Tensorflow gespielt hatte, entschied ich mich, nackt zu gehen (nun, ausgestattet mit der fantastischen Python- und Cumpy-Kombination).

Merkmale:

• Ein Netzwerk, das die Gewinnchancen von Team 0 schätzt.
• Nicht punktebewusst.
• Hatte nicht das "Wer würfelt als nächstes"-Flag.
• Hatte nicht die Stärkekarte.
• Eine versteckte Schicht, mit Sigmoid-Aktivierungsfunktionen.
• Brauchte 45.000 Spiele, um meine vorherige KI mit Expertenwissen (GOAFI) zu schlagen.
• Lernte über 4.500.000 Spiele. Und gewann 75% der Fälle gegen GOFAI.
• War 2 Jahre in Produktion.

2.- Tensorflow (TD-V2).

Mein Problem mit Version 1 war, dass sie nicht gut darin war, Gewinnchancen zu berechnen, weil sie ohne das "Wer würfelt als nächstes"-Flag trainiert wurde. Irgendwie waren die NN-Ergebnisse recht gut für die Auswahl eines guten Zuges, aber mathematisch waren sie nicht konsistent. Version 2 behob dieses Problem und fügte ein neues Netzwerk hinzu, um die Chancen zu berechnen, dass das Spiel mit 1, 2 oder 3 Punkten endet.

Ich wählte diesmal Tensorflow zum Trainieren des neuen Modells, weil ich ein Framework lernen wollte und ein hervorragendes Beispiel zum Starten dafür fand.

Merkmale:

• Ein Netzwerk zur Berechnung der Gewinnchancen von Team 0.
• Ein Netzwerk zur Berechnung der Wahrscheinlichkeit, dass das Spiel mit 1, 2 oder 3 Punkten endet.
• Enthält die neue Stärkekarte.
• Zwei versteckte Schichten, mit verschiedenen Aktivierungsfunktionen: Leaky RELU für die versteckten Schichten und Sigmoid in der Ausgabeschicht.
• Brauchte 12.000 Spiele, um 50% der Zeit gegen TD-V1 zu gewinnen.
• Lernte über 350.000 Spiele und erreichte eine Gewinnrate von 80% gegen TD-V1.

3.- Version 3: In Wartestellung.

Als letzte Meile bei der Entscheidungsfindung zur Auswahl des besten Zuges gibt es einen einfachen Algorithmus, der die beste Equity sucht [%W*%p1+%W*%p2+%W*%p3].

Abhängig vom Ziel des Matches, der Anzahl der Punkte, die jeder Spieler zum Gewinnen braucht, und dem Würfelwert, gewichtet er die Ausgabe der Netzwerke unterschiedlich.

Ich würde gerne ein NN erstellen, das das übernimmt. Das wird V3. Derzeit nicht in Entwicklung.

Abaks Neuronales Netzwerk-Modell: