עולים שלב: כך מאיץ עולם הגיימינג את אבולוציית ה-AI העולמית

חקר הבינה המלאכותית הפך בשנים האחרונות לאחד התחומים החמים ביותר בעולם הטכנולוגיה, שיישומיו נדרשים עבור התפתחויות כמו מהפכת הרכב האוטונומי, טיפולים רפואיים ואפילו יישומים צרכניים כמו סייענים דיגיטליים ורמקולים חכמים.

בדרך לפיתוח יכולות הבינה המלאכותית (AI) מחפשים החוקרים דרכים יעילות שיאפשרו להם להכשיר את הבוטים המבוססים עליה ביעילות רבה ככל האפשר. והם יצירתיים ביותר באיתור הדרכים האלה: בשנתיים האחרונות הפך שדה משחקי המחשב לאבן שואבת עבור חוקרים וחברות הפעילים בתחום ה-AI, שנעזרים בהם לניסוי ותרגול של אלגוריתמים לומדים.

משחקים כדרך לאימון AI צילום: Photo Elsoar

לפני כחודש זכה ערוץ מחקר זה לפרסום משמעותי, לאחר שבוט שפיתח מיזם חקר הבינה המלאכותית OpenAI של אלון מאסק גבר על גיימרים אנושיים מקצועיים במחקר המחשב מרובה המשתתפים DOTA 2. במשחק ראווה שנערך לעיני צופים חיים ושודר לעשרות מיליוני צופים ברחבי העולם הביס הבוט את אחד הגיימרים המובילים בליגה העולמית, דנילו "דנדי" לשוטין.

החוקרים של אלון מאסק אינם הראשונים להשתמש במשחקי מחשב לצורך מחקר ופיתוח של תוכנות הלמידה העמוקה; חוקרים באפל כבר נעזרים במשחק היריות Doom לבחינת ושיפור יכולות תוכנת הבינה המלאכותית שלהם. מיקרוסופט הקימה מיזם מחקר בשם פרויקט מאלמו שמבוסס על העולם הווירטואלי של משחק המחשב מיינקראפט.

משחק DOTA 2 בין אלוף גיימינג אנושי ובין בוט מתקדם צילום: venturebeat

אך הדוגמה המפורסמת ביותר ככל הנראה לשימוש בסביבת משחקי מחשב עבור לצורכי למיכת מכונה היא כנראה מיזם דיפ מיינד של גוגל. התוכנה שפיתחו חוקרי המיזם, המכונה DQN, התמחתה ושברה שיאים ב-49 משחקים שונים בסביבת אטארי 2600 - ריבוי יכולות שנחשב לפריצת דרך מחקרית.

"השימוש במשחקים בחקר הבינה המלאכותית היה מצומצם ולא מקובל עד שפרויקט דיפ מיינד הפך אותו לפופולרי, באמצעות יישום יכולות של למידה עמוקה במשחקים", אמר פרופ' פדרו דומינגוס, מומחה ללמידת מכונה וכריית מידע מאוניברסיטת וושינגטון ומחבר הספר The Master Algorithm.

מימין: פרופ' פדרו דומינגוס, רפאל יוזפוביץ'

"ההצלחה הזו הובילה למחקרים רבים נוספים". דומינגוס השתתף לאחרונה בוועידה עולמית בנושא שהתקיימה בסידני, אוסטרליה. לדבריו, השימוש במשחקי מחשב כסביבת מחקר ופיתוח הורגשה שם מכל עבר: "היו אלפי רעיונות ומחקרים בנושא. סדנאות שלמות עסקו בלמידת משחקים, דבר שהיה בלתי נתפס עד לפני מספר שנים".

הסביבה האידיאלית לתרגול בינה מלאכותית

מה מושך את מפתחי הבינה המלאכותית לעולם משחקי המחשב? דייב מארק, נשיא סטודיו עיצוב המשחקים Intrinsic Algorithm ויועץ בנושאי בינה מלאכותית ל-EA וסוני, ציין מספר סיבות: הדמיה של עולם מקביל, זמינות ומגוון, מחיר זול, חוקים מוגדרים היטב, תנאי משחק קבועים וניקוד ברור. כל אלה לדבריו הופכים את המשחקים לפתרון המתבקש למחקר.

"DOTA נחשב לאחד המשחקים המאתגרים בעולם ובה בעת מאפשר גישה לסביבה קיימת שתציב בפני התוכנה מורכבות של ממש", הסביר רפאל יוזפוביץ', אחד המתכנתים שהיו אמונים על פיתוח הבוט ב-OpenAI, את הבחירה ב-DOTA 2 כסביבה לתרגול התוכנה.

לדבריו, הפופולריות של דוטה הקלה להשתמש בו כדי לתרגל את הבוט מול שחקנים אמיתיים ולבדוק את תפקודו במשך שעות ארוכות. "ב-DOTA 2 יש 113 דמויות בעלות יכולות שונות, שמתוכם השחקן בוחר אחת", הוא מסביר. "בכל משחק מתבצעות עשרות אלפי החלטות בזמן אמת ובזריזות בסביבה וירטואלית שהיא עולם של ממש. כדי למצוא תחליף לאתגר כזה מחוץ למשחק היינו צריכים להשקיע מאות שעות אדם, וגם אז לא היינו מגיעים כנראה לאותה רמה".

אימון הבוטים, אלגוריתמים למעשה, בסביבה הווירטואלית מאפשר ניצול מיטבי של זמן הלימוד, חוסך שעות רבות ולכן גם תקציב. "אחרי שבועיים של תרגול שחקן ה-AI שלנו הגיע למומחיות רבה שאפשרה לו לנצח את המקצוענים", סיפר יוזפוביץ'. "העובדה שהמשחק מאפשר תרגול חוזר ונשנה בתנאי סביבה שנשארים קבועים היא לא דבר מובן מאליו במחקר. זה נתון שמאפשר לתרגל את התוכנה במהירות ובזול בהשוואה לעולם האמיתי, שבו עצם היצירה של סביבה בלתי משתנה היא אתגר".

החלופה לשימוש בסביבות וירטואליות כמו משחקי מחשב היא אימון הבוטים בעולם האמיתי באמצעות רובוטים דמויי אדם כמו פפר של סופטבנק או מכוניות אוטונומיות. "רובוטים מוחשיים יקרים להחריד ועלולים להגדיל מאד את עלות הפרויקט", הסביר.

הרבה דמויות, הרבה אפשרויות. DOTA 2

"הצורך לפתח גוף פיזי שמאפשר תנועה, ראייה ואת כל שאר היכולות שיש לדמות בדוטה מאט את ההתקדמות. חיפשנו דרך תובענית פחות להפעיל את הבוט שתאפשר להאיץ את כל תהליך הפיתוח. יש מחקרים וחברות שעדיין בוחרים לבנות עבור התוכנות מסלולים או מרחבי סימולציה פיזיים", אמר יוזפוביץ’, “אבל המרחב הווירטואלי הוא פתרון מצוין. אפשר לחזור על השימוש באותם תנאים בדיוק בכל נקודה, כך שתהליך הלמידה של התוכנה הוא אופטימלי, והמפתחים יכולים לשחק בפרמטרים ולשנות אותם".

לחזון של OpenAI שותפה גם חטיבת המחקר בבינה מלאכותית של חברת גוגל, שהחליטה לפתח שחקן ממוחשב שיתמחה במשחק האסטרטגיה StarCraft 2. גם המשחק הזה הוא אגוז קשה לפיצוח - לשחקנים בכלל ולבוטים בפרט.

כל משחק ומשחק, כפי שמסביר פרופ’ דומינגוס, תובע מהאלגוריתם לפתח יכולות ותכונות חדשות. לדבריו, הבחירה במשחקי הווידאו המורכבים מאפשרת לחוקרים ליצור שחקן שלם שמתמקצע במספר גדול של פעולות ומסתמך על המוני פרמטרים, במקום תוכנה שתלמד רק פעולות ספציפיות. “בכל משחק אפשר ללמוד דברים אחרים, לכן השימוש בהם כל כך אטרקטיבי", הוא אומר. "יש מגוון עצום של משחקים שמספקים כר נרחב ללמידה בתחומים שונים. חלק מהם דומים לעולם האמיתי עד כדי כך שיכולה להיות להם תועלת מעשית".

"כבר שנים שהשליטה במטוסים, הן אזרחיים והן צבאיים, מתבצעת בעיקר באמצעות מחשב", מזכיר מארק. מערכות טיס כמו טייס אוטומטי למדו ותרגלו את המשימה שוב ושוב במשחקי סימולציה. ולא רק הן: גם מערכות שבונים מפתחי המכונית האוטונומית משחקות היום במשחקי נהיגה ומתמודדות עם סימולטורים מסוגים שונים. כך הפך המשחק GTA 5, שמדמה עולם אמיתי ומוכה פשע, לסביבת פיתוח עבור תוכנות נהיגה לומדות.

GTA 5

תנאי הראות המשתנים וחילופי מזג האוויר, מגוון התמרורים שיש לקרוא במצבי תאורה ובלאי שונים, הצורך לנווט במפה וללמוד כבישים חדשים - כל אלה נתנו פתרון מצוין למפתחים שחיפשו דרך לאתגר את הבוט בלי להתעמת עם רשויות החוק, שלא היו מתירות נהיגה כזאת ברחובות של עיר ממשית.

ללמד את הבוטים לשתף פעולה זה עם זה

ואולם הפיתוחים של OpenAI, של פרויקט מלמו ושל דיפ מיינד לא נועדו להשתלב במוצר החכם הבא שינחת בחנות האלקטרוניקה הקרובה, אלא לפרוץ את גבולות היכולת העכשווית. אחת המשימות הקשות שניצבות כרגע בפני אנשי המחקר היא לשכלל את כישורי התקשורת ושיתוף הפעולה של תוכנות הבינה המלאכותית. האפשרות לקיים למידה משותפת ועבודת צוות היא בין האתגרים המרכזיים שמפתחי פרויקט דוטה יעמדו בפניהם כאשר ישלחו את קבוצת הבוטים לתחרות בשנה הבאה.

כשיוזפוביץ’, מפתח הבינה המלאכותית ב-OpenAI, נשאל כיצד הוא מעוניין ליישם את הטכנולוגיה שלו ביום שאחרי הניצחון בתחרות, הוא משיב בצניעות אבל בנחישות: "להצליח לפתח לאליפות ה-DOTA 2 בשנה הבאה קבוצה של חמישה שחקנים ממוחשבים שיתמודדו במקצה הקבוצתי מול המקצוענים. עד היום לא פותחו אלגוריתמים חכמים שמנהלים משחקים ארוכים ברמת מורכבות כזאת. משחק קבוצתי דורש מחמישה בוטים לדעת לשחק יחד ולהתמודד במשחק שנמשך 45 דקות; זה אתגר שכרוך ב-80 אלף החלטות שמתבססות זו על זו".

גם המכונית האוטונומית משחקת במחשב צילום: AutoGuide

אחת התכונות שיצטרכו להפגין תוכנות שישחקו במסגרת קבוצתית, מסביר מארק, מייסד גילדת מפתחי הבינה מלאכותית למשחקי וידאו, היא הנכונות להקריב את עצמן למען מטרה משותפת: "כשמתכנתים בוטים שלא מבוססים על תוכנה לומדת, אפשר פשוט להגדיר אותם ככה; אבל מעניין לראות איך הם ידעו לפעול באופן הזה מעצמם לטובת הצלחת הקבוצה".

בינתיים החברות המפתחות את תוכנות הבינה המלאכותית אינן מסתפקות במשחקים הקיימים: הן יצרו סביבות מחקר מיוחדות אשר מדמות את העולם האמיתי, שבהן אפשר לדמות התנהלות של בינה מלאכותית ולמידת מחשב מבוססת אווטארים. דוגמה למעין סקנד-לייף כזה לרובוטים היא הפלטפורמה הווירטואלית של חברת אנווידיה. הסביבה שפיתחה אנווידיה מציגה הדמיה באיכות גבוהה של חיים על פני כדור הארץ שמספקת לדמויות רובוטים המבוססות על למידה עמוקה מרחב ללימוד ולתרגול. בעולם המקביל הזה מציעה אנווידיה למפתחים את כל היתרונות שהם יכולים למצוא במשחקי וידאו, בתוספת חוויה קרובה ככל האפשר למציאות שבחוץ.

כדי להצית את הדמיון, דומינגוס מספר שכבר היום קיימים אלגוריתמים שמפתחים משחקי וידאו בכוחות עצמם. אחד מהם הוא התוכנה Angelina שיוצרת משחקים פשוטים בתלת מימד או משחקים דמויי דייב בדו-מימד. דומינגס מספר עוד על תחרויות בהשתתפות מחשבים שבהן, בניגוד לאליפויות שחמט או go, השחקנים אינם יודעים מראש מה יהיה המשחק. המחשבים נדרשים ללמוד בעצמם כיצד לשחק ­- בין שהמטרה היא לחלץ אדם במצוקה ובין שהמטרה היא למצוא דבר מה על המפה. לעתים הם נדרשים אפילו לקשור קשרים חברתיים ומקבלים תגמול על כך.

החוקרים לא יודעים איך הבוט מקבל החלטות

התוכנות הלומדות מתבססות על מאגר גדול של חישובים מסובכים ומשיגות במרוצת פיתוחן דרגה גבוהה מאוד של מיומנות. המורכבות העצומה הזאת מביאה לכך שהחוקרים מאבדים את היכולת לעקוב אחר ההחלטות של הבוט ולהבין כיצד הוא מקבל אותן. יוזפוביץ’, למשל, מספר שלמרות שעות המשחק הארוכות שצברו מהנדסי OpenAI, הם לא ידעו להסביר את אופן הפעולה של האלגוריתם. "שיחקנו ב-DOTA 2 כדי להכיר את המשחק ולראות איך הוא פועל, אבל בשלב מסוים הזמנו שחקנים מקצועיים כדי להבין אילו טעויות הבוט עושה ואיך הוא יכול להשתפר. אנחנו לא ידענו לנתח מה הוא עושה".

בוטים, מה עובר להם ב"ראש"? צילום: sputniknews

התופעה הזאת מוכרת למפתחי הבינה המלאכותית, והיא מדאיגה מאוד את המומחים. הקושי שנתקלו בו יוזפוביץ’ ועמיתיו להבין את פעולת התוכנה ולצפות אותה מראש חוזר כמעט בכל התחומים שבהן פועלות תוכנות הלמידה העמוקה. "אנחנו יודעים לפתח אותן, אבל לא יודעים להבין איך הן חושבות". מהמצב הזה חוששים רבים בתחומי המדע, הטכנולוגיה, החוק, ואף הצבא, שבו מבקשים היום להעביר חלק מהפעילות המבצעית לידי מכונות. באיחוד האירופי, למשל, בוחנים צעדים בנושא ואף שוקלים לדרוש מהחברות המפתחות מערכות של בינה מלאכותית להסביר לציבור את אופן הפעולה של המערכות כתנאי לשימוש בהן.

ואם לא די בקושי להבין את הבוטים, הניסיון שנצבר בתרגול שלהם בסביבות הווירטואליות מראה שהם מחוננים ביכולת בלתי רגילה לזהות פרצות ולאתר קיצורי דרך בלתי מכוונים כדי להשיג את מטרתם. "תוכנות כאלה ישתמשו בכל כלי שהן ימצאו כדי להגיע ליעד שהציבו להן, הן לא יבחלו בכלום", אמר פרופ’ דומינגוס. "יש להן יכולת מדהימה לזהות פרצות ולמצוא דרכים 'לרמות' כדי לקצר תהליכים".