در سال 2018، Google با شبکهٔ عصبی AlphaGo قهرمان GO را شکست داد و سروصدای زیادی به پا شد. کتابخانه‌های متن‌باز بسیار خوب یادگیری ماشین در دسترس قرار گرفتند که از GPUهای خانگی برای سرعت دادن به فرایند آموزش استفاده می‌کردند.

تصمیم گرفتم این کار را با Abak امتحان کنم، اما وقتی برای نخستین بار شروع کردم، به‌سختی می‌دانستم شبکهٔ عصبی چیست. در دوران دانشگاه (1996) وسوسه‌ای کوتاه داشتم، اما با نبود داده، GPU و هدف روشن، پرداختن به آن پیچیده بود. افزون بر این: از نظر ریاضی، شبکه‌های عصبی موضوعی سنگین هستند و به الهام زیادی نیاز دارید.

بعد از پژوهش‌های شدید و وسواس‌گونهٔ فراوان، توانستم یک مدل بسازم و آن را وادار به یادگیری کنم.

روی شانه‌های غول‌ها ایستاده بودم؛ نخستین قصد من این بود که از دکتر Gerald Tesauro، سازندهٔ TD-Gammon در دههٔ ۹۰، یاد بگیرم. اگر درست به خاطر بیاورم، این نخستین پیاده‌سازی عملی یک الگوریتم یادگیری تقویتی بود.

اما چون Abak یک بازی دوبعدی است، نتوانستم از مدل پیشنهادی استفاده کنم و مجبور شدم مدل خودم را توسعه دهم. تصمیم گرفتم خروجی بعضی از الگوریتم‌ها را به‌عنوان بخشی از مدل، به‌صورت اطلاعات خبره، وارد کنم تا فرایند یادگیری برای NN آسان‌تر شود. با این کار احساس می‌کردم دارم تقلب می‌کنم.

در اینجا مقایسه‌ای بین هر دو مدل، یعنی مدل Backgammon و Abak، آمده است.

نسخه‌ها:

1.- Python Cumpy (TD-V1).

اولین نسخهٔ این AI با Python خالص و با استفاده از Cumpy آموزش داده شد؛ کتابخانه‌ای شبیه Numpy که روی GPU اجرا می‌شود. می‌خواستم از پایه یاد بگیرم، بنابراین با اینکه مدتی با Tensorflow بازی کرده بودم، تصمیم گرفتم برهنه وارد میدان شوم (البته مجهز به ترکیب فوق‌العادهٔ Python و Cumpy).

ویژگی‌ها:

• یک شبکه که شانس برد تیم ۰ در بازی را تخمین می‌زند.
• از امتیازها آگاه نبود.
• پرچم «چه کسی بعدی تاس می‌ریزد» را نداشت.
• نقشهٔ قدرت را نداشت
• یک لایهٔ پنهان با فعال‌سازهای sigmoid.
• ۴۵.۰۰۰ بازی زمان برد تا AI قبلی من که با اطلاعات خبره (GOAFI) نوشته شده بود را شکست دهد.
• برای ۴.۵۰۰.۰۰۰ بازی یاد گرفت. و در ۷۵٪ موارد مقابل GOFAI برنده شد.
• به مدت ۲ سال در محیط عملیاتی بود.

2.- Tensorflow (TD-V2).

مشکل من با نسخهٔ ۱ این بود که در محاسبهٔ شانس برد خوب عمل نمی‌کرد، چون بدون پرچم «چه کسی بعدی تاس می‌ریزد» آموزش دیده بود. به‌نحوی نتایج NN برای انتخاب یک حرکت خوب بسیار مناسب بودند، اما از نظر ریاضی سازگار نبودند. نسخهٔ ۲ آن مشکل را برطرف کرد و یک شبکهٔ تازه برای محاسبهٔ احتمال پایان بازی با ۱، ۲ یا ۳ امتیاز افزود.

این بار Tensorflow را برای آموزش مدل تازه انتخاب کردم چون می‌خواستم یک framework یاد بگیرم و برای آن نمونهٔ آغاز بسیار خوبی پیدا کرده بودم.

ویژگی‌ها:

• یک شبکه برای محاسبهٔ شانس برد تیم ۰ در بازی.
• یک شبکه برای محاسبهٔ احتمال پایان یافتن بازی با ۱، ۲ یا ۳ امتیاز.
• نقشهٔ قدرت جدید را شامل می‌شود.
• دو لایهٔ پنهان با فعال‌سازهای متفاوت: Leaky RELU برای لایه‌های پنهان و sigmoid در لایهٔ خروجی.
• ۱۲.۰۰۰ بازی طول کشید تا ۵۰٪ مواقع بر TD-V1 پیروز شود.
• برای ۳۵۰.۰۰۰ بازی یاد گرفت و به نرخ برد ۸۰٪ در برابر TD-V1 رسید.

3.- نسخهٔ 3: متوقف شده.

در آخرین گام از تصمیم‌گیری برای انتخاب بهترین حرکت، یک الگوریتم ساده وجود دارد که بهترین Equity را جست‌وجو می‌کند [%W*%p1+%W*%p2+%W*%p3].

بسته به هدف مسابقه، تعداد امتیازهای لازم برای برد هر بازیکن و ارزش مکعب، خروجی شبکه‌ها را به‌صورت متفاوت وزن‌دهی می‌کند.

دوست دارم یک NN بسازم که این کار را انجام دهد. آن خواهد شد V3. فعلاً در دست توسعه نیست.

مدل شبکهٔ عصبی Abak: