في 2018، هزمت Google بطل لعبة GO بشبكتها العصبية AlphaGo، وكان هناك ضجة كبيرة. أصبحت مكتبات تعلم الآلة مفتوحة المصدر الممتازة متاحة، مستخدمةً معالجات الرسوميات المنزلية لتسريع عملية التدريب.

اتخذت قرار المحاولة مع Abak، لكن عندما بدأت لأول مرة، بالكاد كنت أعرف ما هي الشبكة العصبية. كان لدي إغراء صغير في الجامعة (1996)، لكن مع نقص البيانات ومعالج الرسوميات والهدف، كان من الصعب معالجة الأمر. علاوة على ذلك: من ناحية الرياضيات، الشبكات العصبية موضوع ثقيل، وتحتاج الكثير من الإلهام.

بعد الكثير من البحث المكثف والمهووس، تمكنت من بناء نموذج وجعله يتعلم.

واقفًا على أكتاف العمالقة، كانت محاولتي الأولى التعلم من الدكتور جيرالد تيساورو، الذي طوّر TD-Gammon في التسعينيات. إذا كنت أتذكر جيدًا، كان هذا أول تطبيق عملي لخوارزمية التعلم المعزز.

لكن بما أن Abak لعبة ثنائية الأبعاد، لم أستطع استخدام النموذج المقترح واضطررت لتطوير نموذجي الخاص. قررت استخدام مخرجات بعض الخوارزميات كجزء من النموذج، كمعلومات خبيرة، ليكون التعلم أسهل على الشبكة العصبية. شعرت بأنني أغش بذلك.

إليك مقارنة بين كلا النموذجين، نموذج Backgammon ونموذج Abak.

الإصدارات:

1.- Python Cumpy (TD-V1).

أول إصدار من هذا الذكاء الاصطناعي دُرّب بلغة Python الخالصة باستخدام Cumpy، مكتبة شبيهة بـ Numpy تعمل على معالج الرسوميات. أردت التعلم من الصفر، فرغم أنني لعبت قليلاً مع Tensorflow، قررت أن أذهب عاريًا (حسنًا، مجهزًا بتركيبة Python و Cumpy الرائعة).

الميزات:

• شبكة واحدة تقدّر فرص فوز الفريق 0 باللعبة.
• غير مدركة للنقاط.
• لم تكن تمتلك علم "من يرمي التالي".
• لم تكن تمتلك خريطة القوة.
• طبقة مخفية واحدة، مع منشطات سيجمويد.
• استغرقت 45,000 لعبة لتتغلب على ذكائي الاصطناعي السابق المكتوب بمعلومات خبيرة (GOFAI).
• تعلمت لـ 4,500,000 لعبة. وفازت 75% من الحالات على GOFAI.
• كانت في الإنتاج لمدة عامين.

2.- Tensorflow (TD-V2).

معاناتي مع الإصدار 1 كانت أنه لم يكن جيدًا في حساب فرص الفوز لأنه دُرّب بدون علم "من يرمي التالي". بطريقة ما، كانت نتائج الشبكة العصبية جيدة جدًا لاختيار حركة جيدة، لكن رياضيًا لم تكن متسقة. الإصدار 2 أصلح هذه المشكلة وأضاف شبكة جديدة لحساب فرص انتهاء اللعبة بنقطة 1 أو 2 أو 3.

اخترت Tensorflow هذه المرة لتدريب النموذج الجديد لأنني أردت تعلم إطار عمل، ووجدت مثالاً ممتازًا للبدء به.

الميزات:

• شبكة واحدة لحساب فرص فوز الفريق 0 باللعبة.
• شبكة واحدة لحساب احتمالية انتهاء اللعبة بنقطة 1 أو 2 أو 3.
• تتضمن خريطة القوة الجديدة.
• طبقتان مخفيتان، بمنشطات مختلفة: Leaky RELU للطبقات المخفية وسيجمويد في طبقة الإخراج.
• استغرقت 12,000 لعبة للفوز 50% من الوقت على TD-V1.
• تعلمت لـ 350,000 لعبة ووصلت إلى معدل فوز 80% ضد TD-V1.

3.- الإصدار 3: قيد الانتظار.

كالخطوة الأخيرة في عملية اتخاذ القرار لاختيار أفضل حركة، هناك خوارزمية بسيطة تبحث عن أفضل عدالة [%W*%p1+%W*%p2+%W*%p3].

اعتمادًا على هدف المباراة، وعدد النقاط اللازمة لكل لاعب للفوز، وقيمة المكعب، يتم ترجيح مخرجات الشبكات بشكل مختلف.

أود أن أصنع شبكة عصبية تتعامل مع ذلك. سيكون ذلك الإصدار 3. ليس قيد التطوير الآن.

نموذج الشبكة العصبية لـ Abak: