Nel 2018, Google ha battuto il campione di GO con la sua Rete Neurale AlphaGo, e c'è stato così tanto clamore. Nuove eccellenti librerie open source di Machine Learning sono diventate disponibili, utilizzando GPU domestiche per velocizzare il processo di addestramento.

Ho preso la decisione di provare a farlo con Abak, ma quando ho iniziato, sapevo a malapena cosa fosse una rete neurale. Avevo avuto una piccola tentazione all'università (1996), ma mancando dati, una GPU e un obiettivo, era complesso da affrontare. Inoltre: dal punto di vista matematico, le Reti Neurali sono un argomento pesante, e hai bisogno di molta ispirazione.

Dopo molta ricerca intensa e ossessiva, sono riuscito a costruire un modello e farlo imparare.

Sulle spalle dei giganti, il mio primo intento è stato imparare dal Dr. Gerald Tesauro, che ha sviluppato TD-Gammon negli anni '90. Se ricordo bene, questa è stata la prima implementazione pratica di un algoritmo di apprendimento per rinforzo.

Ma poiché Abak è un gioco bidimensionale, non potevo usare il modello proposto e ho dovuto sviluppare il mio. Ho deciso di usare l'output di alcuni degli algoritmi come parte del modello, come informazione esperta, così la NN avrebbe avuto il processo di apprendimento più facile. Mi sentivo come se stessi barando facendo così.

Ecco un confronto tra entrambi i modelli, quello del Backgammon e quello di Abak.

Versioni:

1.- Python Cumpy (TD-V1).

La prima versione di questa IA è stata addestrata in Python puro usando Cumpy, una libreria simile a Numpy che gira sulla GPU. Volevo imparare da zero, quindi anche se ho giocato per un po' con Tensorflow, ho deciso di andare nudo (beh, equipaggiato con la fantastica combo Python e Cumpy).

Caratteristiche:

• Una rete che stima le probabilità che la squadra 0 vinca la partita.
• Inconsapevole dei punti.
• Non aveva il flag "chi lancia dopo".
• Non aveva la mappa di forza.
• Un livello nascosto, con attivatori sigmoide.
• Ci sono volute 45.000 partite per battere la mia IA precedente scritta con informazioni esperte (GOAFI).
• Ha imparato per 4.500.000 partite. E ha vinto il 75% dei casi contro GOFAI.
• È stata in produzione per 2 anni.

2.- Tensorflow (TD-V2).

Il mio problema con la Versione 1 era che non era brava a calcolare le probabilità di vittoria perché era stata addestrata senza il flag "chi lancia dopo". In qualche modo, i risultati della NN erano abbastanza buoni per selezionare una buona mossa, ma dal punto di vista matematico, non erano coerenti. La Versione 2 ha risolto quel problema e ha aggiunto una nuova rete per calcolare le probabilità che la partita finisca in 1, 2 o 3 punti.

Ho scelto Tensorflow questa volta per addestrare il nuovo modello perché volevo imparare un framework, e ho trovato un eccellente esempio da cui partire.

Caratteristiche:

• Una rete per calcolare le probabilità che la squadra 0 vinca la partita.
• Una rete per calcolare la probabilità che la partita finisca in 1, 2 o 3 punti.
• Include la nuova mappa di forza.
• Due livelli nascosti, con diversi attivatori: Leaky RELU per i livelli nascosti e sigmoide nel livello di output.
• Ci sono volute 12.000 partite per vincere il 50% delle volte contro TD-V1.
• Ha imparato per 350.000 partite e ha raggiunto un tasso di vittoria dell'80% contro TD-V1.

3.- Versione 3: In Sospeso.

Come ultimo miglio nel processo decisionale di selezione della mossa migliore, c'è un semplice algoritmo che cerca la migliore Equità [%W*%p1+%W*%p2+%W*%p3].

A seconda dell'obiettivo del match, del numero di punti necessari a ciascun giocatore per vincere, e del valore del cubo, pesa diversamente l'output delle reti.

Vorrei fare una NN che gestisca quello. Quella sarà la V3. Non in sviluppo al momento.

Modello della Rete Neurale di Abak: