כמה חכם, ככה מזהם: ChatGPT ודומיו מגבירים את פליטת גזי החממה
כמה חכם, ככה מזהם: ChatGPT ודומיו מגבירים את פליטת גזי החממה
כמות עצומה של אנרגיה דרושה כדי ליישם את יכולות המיחשוב של מודלים מבוססי AI ולקרר את מרכזי עיבוד הנתונים שלהם. תעשיית הטכנולוגיה הציבה את התחום כיעד אסטרטגי, אבל בהיעדר אנרגיה מתחדשת זמינה, התוצאה עשויה להזיק מאוד לסביבה. אולי כדאי להאט קצת
ChatGPT הוא רק ההתחלה. מודל השפה המהפכני כבר הצית את הדימיון של משתמשים רבים והפך בתוך שבועות ספורים לתופעה תרבותית, למוקד של שיבושים אפשריים לתעשיות מגוונות (אני, למשל, משתמש בו כעורך לשוני של מאמר אקדמי באנגלית – פיתרון שחוסך הוצאה של אלפי שקלים על עורך לשוני בשר ודם), אבל מה שראינו עד עכשיו הוא רק קצה קצהו של קרחון האפשריות. מיקרוסופט - אחת המשקיעות הגדולות ב-OpenAI, החברה שמאחורי ChatGPT, כבר משלבת אותו במנוע החיפוש שלה בינג - ונערכת לשלב אותו באופיס. גוגל הכריזה שתשלב בקרוב את המודל שלה, Bard, במנוע החיפוש שלה. וגם באידו הסינית צפויה לשלב מודל משלה בשירותיה.
בחודשים הקרובים נראה הרבה יותר שירותים מקוונים שמשלבים מודלי שיחה כמו ChatGPT או מודלים אחרים של בינה מלאכותית יוצרת, כמו Dall-E. הם ישנו את חיינו לטובה, אבל במחיר שנסתר מרבים מאתנו: פליטה מוגברת של גזי חממה כתוצאה מכוח המיחשוב הגדול שדרוש להפעלתם. "כבר עכשיו אינדוקס וחיפוש תוכן כרוך במשאבים עצומים", אמר למגזין וויירד פרופ' אלן וודוורד מהמחלקה למדעי המחשב באוניברסיטת סארי. "אבל שילוב של בינה מלאכותית דורש כוח עיבוד מסוג אחר - ולא רק כוח עיבוד, אלא גם יכולות אחסון וחיפוש יעילות. בכל פעם שאנחנו מתקדמים ביכולות העיבוד המקוונות, אנחנו רואים עלייה משמעותית במשאבי האנרגיה והקירור שדרושים למרכזי עיבוד גדולים. זו התקדמות מהסוג הזה".
לפי נתוני סוכנות האנרגיה הבינלאומית, דאטה-סנטרים אחראים כיום לכ-1% מפליטות גזי החממה בעולם. מדובר בהיקף קטן יחסית למגזרים כמו תחבורה או טקסטיל, אבל השילוב הרחב של יכולות בינה מלאכותית יכול לגרום לעלייה אקספוננציאלית בהיקף הפליטות. לפי הערכות של חוקרים עצמאיים, רק האימון של GPT-3, שעליו מבוסס ChatGPT, הוביל לפליטת 550 טון פחמן דו-חמצני – שווה ערך ל-550 טיסות הלוך ושוב בין ניו יורק לסן פרנסיסקו.
"זה לא כזה נורא בפני עצמו, אבל צריך לקחת בחשבון שאחרי שמאמנים את המודלים, צריך להפעיל ולהנגיש אותם למיליוני משתמשים", אמר ד"ר קרלוס גומז-רודרידז מהמחלקה למדעי המחשב באוניברסיטת קורונה בספרד. דרישת המשאבים הגדולה היא אחת הסיבות לכך שמאגר המידע של ChatGPT נחתם בסוף 2021. "אם צריך לאמן מחדש את המודלים בתכיפות גדולה ולהוסיף עוד פרמטרים ויכולות, זו סקאלה אחרת לגמרי של צריכת משאבים".
וזה רק בשלב האימון והלמידה של האלגוריתם. מומחים מעריכים ששילוב יכולות דוגמת ChatGPT במנועי חיפוש יגדיל את כוח העיבוד הדרוש לכל חיפוש פי 4 או פי 5. "הדאטה-סנטרים והתשתיות שיש לנו היום לא יוכלו להתמודד עם מרוץ הבינה המלאכותית היוצרת. זה יותר מדי", אמר לוויירד מרטין בושארד מחברת הדאטה-סנטרים QScale.
פתרונות אפשריים לצמצום הנזק כוללים הפעלת דאטה-סנטרים באמצעות מקורות אנרגיה בני-קיימא ותכנון של מודלי AI יעילים יותר שמצמצמים את הזמן הדרוש לאלגוריתם לעבד מידע חדש. בגוגל מודעים לצורך זה והגרסה הראשונה של מודל Bard שלהם שתושק תהיה גרסת לייט חסכונית במשאבים. "מחקר שעשינו העלה ששילוב של מודלים, מעבדים ודאטה-סנטרים יעילים עם מקורות אנרגיה נקיים יכול להקטין את חתימת הפחמן של מערכת למידת מכונה עד פי אלף", אמרו בחברה.
במציאות רציונלית, עדיף, כמובן, לדאוג קודם למקורות אנרגיה מתחדשת ולהבטיח את מזעור היקף הפליטות לפני שמשיקים יכולות כאלו, אבל זו לא המציאות שבה אנחנו חיים. התחרות בין ענקיות טכנולוגיה היא מירוץ חימוש ומי שלא תתחייב אליו במלוא העוצמה תוענש על ידי השווקים. אפילו שגיאה קטנה, כמו טעות מביכה שהיתה ל-Bard של גוגל באירוע ההשקה שלו, מביאה לירידה דרמטית במחיר המניה, העדיפות לפתח, להשיק, ליישם ולשלב מקדימה כל שיקול אחר. ואם בדרך מחריפים את משבר האקלים? נו, זו כבר בעיה לדור אחר. אולי אפשר לשאול את ChatGPT איך להתמודד אתה.
