מסמך שהודלף מגוגל: "אין לנו רוטב סודי בתחום מחוללי השפה והתמונות"
מסמך שהודלף מגוגל: "אין לנו רוטב סודי בתחום מחוללי השפה והתמונות"
מסמך פנימי שמיוחס לגוגל והודלף חושף הכרה של ענקיות הטכנולוגיה בחוסר היכולת שלהן לנצח במרוץ החימוש של הבינה המלאכותית הגנרטיבית: "אנשים לא ישלמו על מודל מוגבל כשיש חלופות חינמיות לא מוגבלות ובאיכות דומה". הפיצול לאינספור שחקנים קטנים גם יקשה את אסדרת התחום
דמיינו עולם שבו כדי לפתח ולייצר אייפון או כל סמארטפון מתקדם אחר לא צריך צוות יקר של מהנדסים ומעצבים, שרשרת אספקה עולמית מורכבת עם מפעלים בכמה מדינות שמספקים מסך, שבבים, חיישנים ושאר רכיבים ומתחמי ענק בסין שמעסיקים עשרות אלפי עובדים בהרכבת המכשירים ושילוחם לרחבי תבל. עולם שבו כמעט כל אחד יכול לייצר בכוחות עצמו סמארטפון מתקדם לפחות כמו אלו של סמסונג וגוגל, כזה שמותאם אישית לצרכיו, עולם שבו הפיתוח של המכשיר לא מתבצע על ידי חברות ענק בשווי טריליוני דולרים אלא גם יכול להיעשות על ידי חברת סטארט־אפ קטנה או צוות מיומן של חוקרים באקדמיה. נשמע מופרך, נכון? אבל בכל הנוגע לטכנולוגיה המתקדמת והמדוברת ביותר שנמצאת כיום בשטח – בינה מלאכותית גנרטיבית – לא צריך לדמיין בכלל. זו המציאות, לא של העתיד אלא של ימים אלו ממש.
מציאות זו צפה בימים האחרונים בעקבות פרסום מסמך שלכאורה הודלף מגוגל, ושטוען: "אין לנו חפיר, וכך גם ל־OpenAI". חפיר בהקשר של פיתוחים טכנולוגיים מתייחס למגבלה או רף שיקשו על מתחרים להדביק את הפער מחברה מובילה בתחום. זו יכולה להיות מגבלה כספית, לוגיסטית, טכנולוגית או אחרת. ליצרניות סאמרטפון, למשל, יש חפיר לוגיסטי וכספי שמקשה על שחקניות חדשות בתחום לייצר תחרות משמעותית. אבל בכל הנוגע לבינה מלאכותית גנרטיבית, ובפרט מודלי שפה גדולים כמו ChatGPT, טוען המסמך שחפיר זה כלל אינו קיים.
המסמך פורסם בשרת דיסקורד פומבי, ולדברי דיילן פאטל מאתר semianalysis.com, אומת על ידיו ככזה שנכתב על ידי עובד גוגל. אולם גם אם המסמך לא נוצר על ידי גורם פנימי בגוגל, הוא מעלה כמה תובנות חשובות, ובראשן האמירה ששחקניות כמו גוגל ו־OpenAI לא ממוצבות לנצח במרוץ החימוש. "בזמן שהתקוטטנו סיעה שלישית אכלה בשלווה את ארוחת הצהריים שלנו", נכתב. "אני מדבר על קוד פתוח. דברים שאנחנו רואים כ'בעיות פתוחות משמעותיות' כבר נפתרו ונמצאים כיום בידיים של אנשים". בין השאר הוא מציין הרצת מודלי שפה על סמארטפונים.
נקודת המוצא לפריצה זו של הקוד הפתוח בתחום, לפי המסמך, היא הדלפת מודל LLaMA של מטא בתחילת מרץ השנה, הפעם הראשונה שקהילת הקוד הפתוח זכתה בגישה ישירה למודל יסוד רב־יכולות. "זרם אדיר של חדשנות נוצר", נכתב. "כל אחד יכול לשחק בזה. רעיונות חדשים רבים מגיעים מאנשים רגילים. מחסום הכניסה ירד מכל התפוקה של ארגון מחקר משמעותי לאדם אחד עם מחשב חזק".
לדברי הכותב, אמנם למודלים של גוגל ו־OpenAI יש יתרון איכות קל, אבל הפער נסגר במהירות. "מודלי קוד פתוח מהירים יותר, ניתנים להתאמה אישית טובה יותר, פרטיים יותר ובעלי יותר יכולות. הם עושים דברים בעלות של 100 דולר ו־13 מיליארד פרמטרים, בשעה שאנחנו מתקשים עם 10 מיליון דולר ל־540 מיליארד פרמטרים. והם עושים את זה כבר שבועות. אין לנו רוטב סודי. אנשים לא ישלמו על גישה למודל מוגבל כשיש חלופות חינמיות, לא מוגבלות ובעלות איכות דומה ומודלים ענקיים מאטים אותנו. בטווח הארוך המודלים הטובים ביותר יהיו אלו שניתן ליצור ולעדכן במהירות".
"לעת עתה, ליישומים היומיומיים המסחריים שאנחנו רואים מסביב, הפתרונות שקהילת הקוד הפתוח מציגה טובים מספיק", אמר ל"כלכליסט" מתי מריאנסקי, יזם ואמן בתחום הבינה המלאכותית, מרצה בתוכנית לתואר שני בבצלאל ומייסד קהילת "עליית המכונות" בפייסבוק. "הם גם מגיעים ללא הכתבות מלמעלה של בעלי המודל שכל הדאטה הפרטי שלך יעבור דרכם, והם עשויים לבחור לצנזר או להגביל את המקרה הספציפי שהסטארט־אפ או החברה שלך רוצים לעבוד דווקא עליו.
"מחבר המסמך אומר, בעצם, אם חשבנו שלאמן מודל כזה יהיה עסק כל כך יקר שכולם יעמדו בתור אצל OpenAI או גוגל, אז זו הייתה טעות. קהילת הקוד הפתוח, שלרשותה עומדים אינסוף מהנדסים וחוקרים מהאוניברסיטה, עושה בית ספר לחברות הגדולות. לדבריו, הגישה של הקהילה הזו חכמה יותר. במקום לאמן מודל שיודע הכל על הכל, עדיף לתת לו להתמחות. אם אתה צריך בוט שיענה לשירות לקוחות, מה אתה צריך שהוא יידע לצטט את כל כתבי ג'יימס ג'ויס? רק צריך לאסוף את השיחות שכבר יש ולגרום ל־GPT הקטן שלכם להיות מומחה גדול בתחום זעיר".
מצב זה, מוסיף מריאנסקי, מייצר לא מעט קשיים בעבור מי שמבקש לאסדר את התחום: "במובן של רגולציה אלו חדשות רעות מאוד. קשה מאוד לפקח על מודלים שרצים 'בתוך הבית'. במקרה הטוב מדובר בחברה הגונה ושומרת חוק. במקרה הפחות טוב זה נמצא על שרת במרתף של שחקן חורש רע שקיבל לידיו כוח עצום ללא אחריות. אם האיחוד האירופי חשב שהוא יקבע כמה חוקים לארבע או חמש חברות גדולות ויפתור את הבעיה, עכשיו גזע העץ הזה התנפץ למליארד קיסמים קטנים. לכל אחד יהיה AI שלו, שהתאמן על אלוהים יודע מה, ואם צריך יודע לקלל ולטנף, או לעשות מניפולציות וכל מיני דברים שבאירופה אוהבים לאסור אותם, ויעשה את כל זה על שרת פרטי קשה לפיקוח. זה גם אומר שאף אחת מהגדולות לא תעצור. אם קודם זה היה 'אם נפסיק, הסינים ימשיכו ויעקפו אותנו', עכשיו זה ‘כולם יעקפו אותנו’".
עם זאת, חוקרים בתחום סבורים שגם אם הפערים לא רלבנטיים ליישומים קיימים, הם תמיד יישארו, ושמודלים של קוד פתוח תמיד יפגרו אחרי המודלים הגדולים והיקרים יותר. ד"ר אנדריי קרפת'י – שנמנה עם הצוות המייסד של OpenAI ועד יולי שעבר כיהן כדירקטור בכיר ל־AI בטסלה, שם הוביל את תחום הראייה הממוחשבת – אמר שכל הפריחה העדכנית בקוד הפתוח בתחום התאפשרה בעיקר הודות לדליפת המודל של מטא. "אימון ראשוני של מודלי שפה גדולים (LLMs) עדיין יקר מאוד, מחשב־על + חודשים", הוא כתב בטוויטר, "אבל מתברר שכיוונון עדין של LLMs מאוד זול ויעיל. מעבד גרפי + יום, אפילו למודלים גדולים מאוד. לכן אנחנו רואים עכשיו התפרצות של מודלי קוד פתוח. יש כמה מאמצים ליצור LLM בקוד פתוח (במקום להסתמך על דליפה כמו זו של מטא — ע"כ), כאשר המאמצים הקיימים תואמים את הביצועים של מודלים קטנים יותר. מודלי קוד פתוח תמיד ישחקו תופסת בכל הנוגע לאיכות".
מריאנסקי הוסיף שכל הניתוח של המסמך המודלף תקף רק למצב היום ובנוגע ליישומים העסקיים שנחשפו עד כה: "מנכ"ל OpenAI, סם אלטמן, מדבר על חזון מרחיק לכת בהרבה: בינה מלאכותית שתשתלט על 'כל אופק האירועים'. ייתכן שבמשחק הזה יהיה מנצח יחיד, ואז במובן הזה החפיר הוא אכן גבוה ומבוצר. אנחנו לא יודעים כמה הם, או גוגל, או אולי מתחרה שלא שמענו עליו בכלל, מתקדמים בהשגת החזון הזה”.
כלומר בכל הנוגע ליישומים המעשיים של בינה מלאכותית גנרטיבית היום למודלים הגדולים של OpenAI וגוגל אין יתרון מהותי שמצדיק בחירה בהם על פני מודלי קוד פתוח חינמיים, במיוחד כאשר מדובר במשימות צרות ומוגדרות היטב, כמו שירות לקוחות, סיכום מסמכים עסקיים או יצירת דו”חות רפואיים. אבל זו ראייה קצרת טווח. כשמסתכלים על אופק האירועים העתידי, על יישומים שאפתניים שאלטמן דיבר או רמז לגביהם בעבר, כמו ביצוע השקעות בבורסה לטווח ארוך, ניהול מערכות לוגיסטיות בינלאומיות מורכבות, אפילו התמודדות ופתרון בעיות ומשברים פוליטיים, שם ייתכן שהחפיר שיצרו השחקניות הגדולות והמתוקצבות יותר כבר כזה עמוק שאין לקהילת הקוד הפתוח סיכוי לצלוח אותו.
