הקברניטמלכודת ה-AI: כשטילים ידידותיים מחליטים שאתה האויב
הקברניט
מלכודת ה-AI: כשטילים ידידותיים מחליטים שאתה האויב
סוללות הפטריוט שהביאה ארה"ב להגנה מפני טילים עיראקיים במלחמת המפרץ השנייה קיבלו שדרוג אוטונומי כל כך חכם, שהשתגעו: המערכת הפילה אוטומטית מספר מטוסי קרב ידידותיים והרגה טייסים. איך מתמודדים עם AI רצחנית?
שלום, כאן הקברניט; כל ישראלי שעבר בבה"ד 1 שמע על קרל פון קלאוזוביץ - גנרל פרוסי והוגה צבאי שאמר הרבה דברים חכמים, ביניהם הציטוט הכי מפורסם שלו: "המלחמה היא ממלכת אי הוודאות". מה עושה אותה לכל כך כאוטית?
העובדה שהתנגשות המונית ונפיצה של חיים ומוות היא דבר שמאוד קשה לשלוט בו, להבין אותו בזמן אמת, ולכוון לאן שרוצים. כשמכניסים לתמונה גם אוטומציה נרחבת ובינה מלאכותית מקבלים סוג חדש לגמרי של כאוס, כפי שלמדה ארצות הברית בדרך הקשה: הטילים שלה החליטו לחסל לה את הטייסים.
סיפורנו מתחיל במרץ 2003, כשקואליציה צבאית עצומה פלשה לעיראק של סדאם חוסיין, בהובלת כוח אמריקאי ענק.
מה חיפשו שם? מקורות מוסמכים ביותר פסקו שהעריץ העיראקי מסתיר גם נשק מבצעי להשמדה המונית, גם מבשל פיגועים שייגרמו למתקפת ה-11 בספטמבר להיראות כמו חניה באדום-לבן, וגם מחזיק הרבה מאוד נפט שבטח ישמח להסתפח לצינורות אמריקאיים.
18 צפייה בגלריה
מטה משרד התכנון הכלכלי של ממשלת עיראק עולה בלהבות, לאחר תקיפה אמריקאית ביום השני של הפלישה
(צילום: רויטרס)
המלחמה הזאת תוכננה כניצחון מפואר מראשיתה; סדאם חוסיין סומן כרוע המוחלט - ובצדק, ולכן הכוח הפולש סומן כאור שבא למגר את החושך. רק ניצחון מאוד מרשים, מהיר ונקי יצליח לשמר את התחושה, ולמנוע סיבוכים שיעמדו בין ארה"ב ובין כל הנפט המתוק הזה.
ולכן, תוכננו מבצעי המכה האווירית כאילו בצד השני עומדת אימפריה מיומנת, וננקטו כל צעדי הזהירות האפשריים. כל בסיס עיראקי יחטוף אש כבדה ומדויקת מהאוויר, נבחרו הפצצות הכי מתקדמות, הטייסים הכי הכי.
הקואליציה כללה יותר מ-1,800 כלי טיס, שנשאו את סמלי ארה"ב, בריטניה, אוסטרליה ופולין. הצוותים לא חששו מחיל האוויר העיראקי; הוא חטף חזק עוד במלחמת המפרץ הראשונה ב-1991, ולאחריה התמקד בהברחת מטוסיו לאיראן השכנה.
הכלים שנשארו בשטח המדינה הוזנחו לרמה שתצמרר חובבי אווירונים, ונראו כאילו הופלו עוד לפני שהמריאו. גם מערך הנ"מ של סדאם לא הטריד את הפולשים - כמה שהיה גדול ומסוכן בראשית ניינטיז, עתה נותר חלש ומוגבל מאוד.
המכה האווירית של הקואליציה עבדה לפי התוכנית, ומטוסי קרב באמת היכו את עיראק שוק על ירך, צבעו את השמיים באש כל לילה. אבל דבר אחד הפחיד את הטייסים יותר מכל דבר אחר, גרם להם להצטמרר באימה: סוללות טילי הפטריוט שהאמריקאים הביאו עמם.
מערכת הנ"מ המפורסמת, שעברה שדרוגים ניכרים, נפרסה בשטח ידידותי כדי לעצור מתקפות טילים בליסטיים וטילי שיוט. הוערך שסדאם ישגר טילי סקאד על סעודיה, כוויית ואזורי עניין אחרים - במיוחד כשיראה שההפסד בלתי נמנע.
והרי יש לו נשק לא קונבנציונלי; בלי טילים נגד טילים, לכו תדעו איזה מין אסון ייפול על המזרח התיכון. פריסת סוללות הפטריוט היתה מהירה מאוד, ומדיניות הירי היתה פשוטה: זה עף? זה לא משלנו? תנו בראש עד שזה מפסיק לעוף.
פעם אחר פעם נעלו סוללות הפטריוט על מטוסי ארה"ב ובנות בריתה: המכ"מ סימן אותם כמטרה עוינת, החל לשדר אליהם בתדר שאין לטעות בו, והתחיל כבר להריץ משוואות ירי - כשהטייסים התפרצו במכשיר הקשר וצעקו "בשם אלוהים, אל תירו".
איך טעו כך סוללות ההגנה? הרי ישנה מערכת בשם IFF שמתבססת על שידורי אותות לזיהוי מטוס כידידותי. מגדירים מראש איזה תדר הוא המוסכם, וכל מטוס שמשדר כזה יסומן מיד ככחול ולא אדום.
אמנם היו קצת תקלות IFF בתחילת המלחמה, בגלל ענייני הצפנה - אך לא זו היתה הבעיה: מערכות הפטריוט התעלמו מה-IFF; הן פשוט עבדו במצב הישרדותי.
אתם מבינים, הסוללות שהביאו האמריקאים היו מהדגם הכי מתקדם והכי חכם בעולם - עם פיצ'ר אוטונומי גאוני: כלי שמסתכל על דברים שמאתר המכ"מ, ובודק קודם כל אם הם יכולים להיות טילים נגד קורנים. אלו טילים שנועדו לקלוט שידורי מכ"מים של סוללות, ולרכוב עליהם כל הדרך לאנטנה - רוצחי-נ"מ על מלא.
וברגע שסוללת פטריוט גילתה דבר כזה שמתקדם לכיוונה הכללי, נעלה אותו אוטומטית ואם התקרב - קיבל גם טיל. אז מה אם לעיראקים בכלל לא היו טילים מבצעיים כאלה במלחמה ההיא; הרי אמרנו שלא לוקחים צ'אנסים, וסוללה בלי מכ"מ היא כמו מכ"מ בלי סוללה. רק זה חסר לנו, שעיראק תתקע טיל כימי בשוק של דובאי.
עקרונית, אמורה סוללת הפטריוט לקבל עזרה בגילוי, זיהוי והערכה של איומים ממבוגר אחראי: זו מערכת שנולדה כדי לעבוד ברשת, ביחד עם סוללות אחרות, מכ"מ זירתי ענק ומרכז ניהול גזרתי שמקבל החלטות.
אבל במקרה ההוא נפרסו הסוללות בר בטבע ברחבי המדבר העיראקי ובגבעות המפרץ הפרסי ונדרשו לנחש לבד מה מגיע ומה מסוכן.
אולי זה החום המדברי, אולי משהו אחר - אך הסוללות לא הצליחו להבדיל בין מטוסי קרב ובין טילים נגד קורנים ופשוט נעלו עליהם אוטומטית וחיכו שייכנסו לטווח. מה קרה לטייס קרב שלא צעק מספיק חזק, או לא צעק בזמן?
ב-23 במרץ שייט מטוס טורנדו GR4 מטייסת 9 הבריטית, בדרך חזרה ממשימת תקיפה, כשלפתע קיבל התראת שיגור: סוללת פטריוט שחררה אליו טיל שקרע את השמיים בכ-5,000 קמ"ש.
מטוס הקרב ניסה לחמוק והטייסים קווין מיין ודיוויד וויליאמס זעקו לעזרה בקשר - אך ללא הועיל: טווח האש היה קצר יחסית, והטורנדו לא היה זריז מספיק.
פיצוץ כתום צבע את השמיים והטורנדו התפזר לרסיסים בוערים; צוותו נהרג במקום. הסוללה החליטה שוואלה, הוא טיל עיראקי מרושע, המכ"מ הציג אותו ככזה, והשיגור בא כמה שניות אחר כך.
טרם נאספו חלקי הטורנדו, וזה קרה שוב: למחרת בבוקר טס F16 אמריקאי בדרך למשימה, וסוללת פטריוט אחרת החליטה שהוא טיל - נעלה ועמדה לשגר.
הפעם, הזה זה מטוס שבמקרה נשא טילים נגד קורנים - הם פשוט היו כבויים.
אבל ברגע הנעילה, לא היסס הטייס ושלף ראשון; הוא חשב שמדובר בסוללה עיראקית - הדליק וירה טיל AGM88 שעף ופוצץ לפטריוט את המכ"מ.
הפאדיחה היתה כה גדולה, שעד היום מסתירים האמריקאים את זהות הטייס הזה; כל העניין גם העלה תהיות בנוגע ליכולת הפטריוט לחסל טילים שנשלחים אליו.
מיד נערך תחקיר זריז, שגילה ששיגור אוטומטי הוא לא רעיון טוב, ואולי כדאי היה להקשיב לתלונות הטייסים על הסוללות שנועלות עליהם. הפיתרון היה שינוי נהלים, כך שכל שיגור יהיה בבקרה אנושית שתעבוד קצת יותר בזהירות.
אבל אף אחד לא סיפר על זה למחשב: הוא עדיין הציג מטוסים ידידותיים בתור טילים שבאים ישר לעברו, וצוות הסוללה האמין לו: ב-2 באפריל ננעל כך F18 של הצי האמריקאי, שוב עף טיל ופיזר את המטוס. הטייס, נייתן וויט, נהרג. במכתב האחרון ששלח למשפחתו, אגב, הזכיר את סכנת טילי הפטריוט.
בשלב הזה התחילו להגיע טלפונים ישירות מהפנטגון: ארה"ב הבינה שיש לה בעיה גדולה מאוד, גדולה לא פחות מאש ידידותית וחיי אדם. מערכת הפטריוט נולדה כדי לחסל מפציצים סובייטיים, ובהמשך הותאמה להפלת טילים - מה שנועד לפנות לשוק מאוד גדול ורעב.
בכך, הפך הפטריוט לכלי יישום מדיניות חוץ: מדינה שקונה סוללות כאלה תהיה תלויה באמריקאים לאספקת טילים, חלפים, ציוד, הדרכה - ואז תהיה הרבה יותר פתוחה לאימוץ של אינטרסים אמריקאיים.
הראו לי מדינה אחת בעולם שתסכים לקנות סוללת פטריוט, שעולה סביב שני מיליארד דולר וחצי, כשהיא יודעת שהטילים עלולים לעוף רנדומלית על המטוסים שלה בכל פעם שהמחשב דופק איזה אופסי.
מיד השתנתה מדיניות האש; רכיבי AI במערכת עברו חינוך מחדש, ונהלי הפעלה שופרו. מאז הפטריוט לא מפיל חברים, וכשמציבים סוללה בתצורה עצמאית, המחשב יקח בחשבון שיש סיכוי גדול יותר לטעויות בזיהוי, ולכן יפעל בצורה יותר שמרנית.
מאז עברו עשר שנים ועולם הנ"מ השתדרג; כיום רכיבי אוטומציה בסוללות הם חכמים ושקולים יותר. אבל עדיין קורה שנועלים על מטוס ידידותי, גם בתרגילים וגם בפעילות מבצעית. ויש צבאות שלצערנו לא למדו מהטעויות האלה.
למשל, הרוסים הפילו לעצמם מטוסים רבים בחודשים הראשונים של מלחמת אוקראינה, כי צוותי סוללות S300 היו בטוחים שאלו טילי ומטוסי אויב. המערכת אמרה שאפשר לירות, ולפעמים שיגרה לבד.
האיום היה כל כך גדול ושיעור ההפלות הפתיע את הגנרלים של פוטין, שלא ידעו מה לעשות; בייאושם, פשוט כיבו לגמרי מערכות נ"מ מסוימות. כמו את סוללת ה-S300 הימית של הסיירת העצומה "מוסקבה" - וכך הצליחו האוקראינים להפוך אותה מאוניה מפחידה לאקווריום מאוד מרשים.
נסיים בממלכת אי הוודאות של פון קלאוזוביץ: בינה מלאכותית שמסוגלת לבצע מהר ובדייקנות משהו שלפניה עשו רק אנשים, היא כלי עזר נהדר שבאמת מסוגל לצמצם את הבלאגן. אבל כלי אוטונומי שמהווה מקור מידע יחיד או מקבל בעצמו החלטות עלול להכניס לממלכה כאוס מסוג שמאוד קשה לצפות, לזהות ולעצור.
לא חכם לתת לכלים אוטונומיים לעבוד לבד, להחליט לבד, וחובה עלינו לפקח עליהם ולאתגר את מה שהם מציגים לנו. זה נכון גם לגבי טילים, גם לגבי מכוניות אוטונומיות וגם לגבי מחוללי טקסט וקוד סטייל ChatGPT ו-Bard. ובכל מקרה - חשוב שעל כל הדק תשב תמיד אך ורק אצבע אנושית. טיסה נעימה!
