האמונה העיוורת במחשבים תעלה לנו ביוקר

באחד מביטים המפורסמים של סדרת הסאטירה בריטניה הקטנה מגיעה אדם מן היישוב למפגש עם פקידה עם פקידה כלשהי, בבנק, בבית החולים, בשדה התעופה או במקום אחר (תמיד זו אותה דמות – שיער שחור ארוך, משקפיים, גישה שלילית ולא שירותית בעליל), על מנת לקבל שירות כלשהו. זמן קצר לתוך השיחה יתפתח משבר כלשהו כשהאדם מן היישוב יעלה בקשה, הפקידה תבדוק במחשב ותחזור עם התשובה: "מחשב אומר לא". לא משנה כמה יתעקש הלקוח, התשובה תמיד תהיה זהה: "מחשב אומר לא". גם כשברור שיש טעות במחשב (בת 5 שהגיע לניתוח להסרת שקדים אך מתבקשת עתה לעבור החלפת מפרק ירך), התשובה לא משתנה: "מחשב אומר לא".

אף פעם לא הייתי ממעריצי בריטניה הקטנה אבל המערכונים הללו מתחברים למשהו אנושי מאוד בסיסי: אמונה עיוורת לפעמים במידע שמספקים לנו המחשבים, בלי לעצור ולבחון אותו בעצמנו, גם במקרים שבחינה כזו היתה מגלה במהירות שהמידע שגוי. הפקידה (קרול שמתי לב שקוראים לה באחד המערכונים) לו היתה עוצרת לרגע ובוחנת את המידע שמציג לה המחשב, היתה מבינה מיד שמשהו שם לא בסדר, שיש איזו שהיא טעות בלתי סבירה. אבל היא לא מצליחה, או במקרה שלה דווקא לא רוצה, לעשות זאת. זה מה שהמחשב אומר, זה בטח נכון. עכשיו תפסיקו להציק לי כבר. כמה פעמים צריך להגיד לך שמחשב אומר לא?

יש גם מקבילה ישראלית של הרעיון הזה, שבחצי דקה מבהירה את הנקודה בצורה הרבה יותר חדה: באחד הקטעים (זה קצר מדי בשביל לקרוא לזה מערכון) מתוכנית הניינטיז של אברי גלעד וארז טל מימי ערוץ 2 הניסיוני, העולם הערב, עולה למסך קריינית הרצף בגילומה של עינב גלילי ומכריזה: "גם את הטקסטים שלי כותב מחשב משוכלל שלעולם אינו טועש".

אמונה עיוורת במחשבים היא אולי חומר יסוד משעשע למערכונים בתוכניות סאטירה, אך במציאות היא עלולה להוביל לתוצאות קשות במיוחד. כמו שלמד לאחרונה על תושב מישיגן בעל השם המורכב רוברט ג'וליאן-בורצ'אק וויליאמס. בינואר שעבר, כששב וויליאמס לביתו בעיירה פרמינגטון היל קיבלה את פניו ניידת משטרה. לפי חשיפה של הניו יורק טיימס משבוע שעבר, שני השוטרים שיצאו ממנה אזקו את וויליאמס לעיני רעייתו ושתי בנותיו הצעירות, והובילו אותו למרכז מעצר שם צולמה תמונתו ונלקחו ממנו טביעות האצבע ודגימת דנ"א והוא נשלח לבלות את הלילה בתא.

בשום שלב אף אחד לא טרח להסביר לו מדוע נעצר. רק יום למחרת, כשנקרא לחדר החקירות, הוברר לוויליאמס למה נעצר כך: הוא חשוד בגניבת חמישה שעוני יוקרה בשווי כולל של 3,800 דולר מחנות מוכרת בדטריוט. כראיה הציג החוקר תמונה מתוך סרטון וידיאו של גבר שחור וכבד משקל, ושאף שהיתה מטושטשת בחינה בעין אנושית העלתה בברור שלא מדובר בוויליאמס. "זה אתה?" שאל אותו הבלש. וויליאמס רתח: "לא, זה לא אני. אתה חושב שכל הגברים השחורים נראים אותו הדבר?"

זיהוי פנים צילום: שאטרסטוק

בכלא, כך לפחות נטען בחומות של תקווה, אין אשמים. כולם חפים מפשע. אבל במקרה של וויליאמס, הוא באמת היה חף מפשע. וויליאמס, מעריכים בניו יורק טיימס, הוא המקרה הידוע הראשון של אזרח אמריקני שנעצר על לא עוול בכפו רק בגלל טעות של מערכת זיהוי פנים. בדגש על המקרה הידוע. "יש לי חשד חזק שזה לא המקרה הראשון שמישהו נעצר על פשע שלא ביצע בגלל טעות של מערכת זיהוי פנים, רק המקרה הראשון שאנחנו יודעים עליו", אמרה עו"ד קלייר גארווי מהמרכז לפרטיות וטכנולוגיה בבית הספר למשפטים של אוניברסיטת ג'ורג'טאון.

למזלו של וויליאמס, הטעות התבררה במהירות. אחרי שהחזיקו את את התמונה מסרטון הווידיאו לצד פניו של וויליאמס אמר אחד הבלשים לשותפו: "אני מניח שהמחשב טעה". חרף זאת, וויליאמס הוחזק במעצר עד שעות הערב, 30 שעות בסך הכול, ושוחרר רק אחרי שהפקיד ערבות של אלף דולר. שבועיים מאוחר יותר, בדיון ראשון בבית המשפט, ביקש התובע לסגור את התיק, תוך שהוא שומר על הזכות להגיש כתב אישום נגד וויליאמס במועד מאוחר יותר. רק אחרי חשיפת הסיפור בניו יורק טיימס התנצל משרד התובע המחוזי בפני וויליאמס והודיע שיפעל למחיקת התיק וטביעות האצבע שלו מהמאגר המשטרתי.

טעות בזיהוי בינה מלאכותית איור איור: אסיה איזנשטיין

איך קורה שמחשב הופך אדם חף מפשע לחשוד ושולח אותו למעצר? שני גורמים מרכזיים עומדים ביסוד הפרשה העגומה הזו. הראשון, מערכת זיהוי הפנים עצמה. משטרת מישיגן משתמשת במערכת שמשווקת על ידי חברה בשם DataWorks Plus, ושבנויה טלאי על טלאי מספקים שונים. הגרסה של משטרת מישיגן כוללת רכיבים מתוצרת NEC היפנית ו-Rank One Computing מקולרדו. שתי החברות כיכבו בדו"ח פדרלי מ-2019 שבחן יותר מ-100 מערכות זיהוי פנים ומצא שהן סובלות מהטיה ושוגות בזיהוי פנים של אנשים שחורים ואסייתים פי 10 עד פי 100 לעומת לבנים.

מערכת זיהוי הפנים עצמה סובלת מכשולים שמעלים סייגים בקשר ליכולת להשתמש בה. היא לא אמינה, בעיקר כאשר מדובר בפנים של לא-לבנים, והשוטרים צריכים להתייחס לכל מידע שמתקבל אליה בספקנות בריאה. ואת זה אומר אפילו הדו"ח שניפקה בעבור החוקרים המנתחת שביצעה את הליך הבדיקה במערכת זיהוי הפנים. תחת הכותרת "דו"ח כיוון חקירה", הבהירה המנתחת: "המסמך הזה הוא לא זיהוי ודאי. זה רק כיוון לחקירה ולא עילה סבירה למעצר".

הממצאים של המחשב היו אמורים להיות רק השלב הראשון בחקירה. לפני שמיהרו להוציא צו מעצר, יש מספר רב של צעדים שיכלו החוקרים לנקוט – תשאול עדי ראייה, בדיקת מידע המיקום מספק הסלולר של וויליאמס, בחינה עצמאית של הממצאים ועוד. לו היו החוקרים טורחים לבחון את חשבונות המדיה החברתית של וויליאמס, הם היו מגלים סרטון שצילם והעלה לחשבון האינסטגרם שלו בזמן ביצוע הפשע, ובו הוא נראה נוסע ברכבו ושר להנאתו. אליבי קלאסי שהיה מייתר על המעצר המשפיל וכל מה שהגיע בעקבותיו.

הם לא עשו את זה, כי המחשב אמר להם שמדובר בוויליאמס וזה היה מספיק טוב. זה מחשב, אחרי הכל. יש נטייה אנושית להאמין למידע שיוצא ממחשבים. יש להם אלגוריתם, בינה מלאכותית, המערכת לא תזהה סתם כך אדם לא קשור, נכון? אז יאללה, להוציא את האזיקים ולעצור אותו. בחדר החקירות כבר נוכל להגיע לעומקם של דברים. וויליאמס הוא אדם משכיל ממעמד הביניים, מיודע היטב לזכויותיו, מנהל שיווק בחברת נדל"ן ובלוגר מזון. היה לו את האומץ להגיד לשוטרים בפנים שאין מצב שזה הוא, להכריח אותם להתעמת עם העובדות. באותה מידה זה היה יכול להיגמר אחרת. לו היה המחשב בוחר, למשל, הומלס מבולבל שלא יודע איך להגיב, קל לדמיין איך כל ההליך היה מתנהל בדרך הרגילה – חקירה, אולי אפילו הודאה, סנגור ציבורי שלוחץ לעסקת טיעון והופ אדם חף מפשע מורשע ונענש כי המחשב סימן אותו.

זיהוי פנים איור איור: יונתן פופר

אחת התשובות של כוחות משטרה למתנגדי מערכות זיהוי פנים היא שהטכנולוגיה לא שופטת ומרשיעה חשודים, היא רק כלי חקירתי ראשוני שמספק רמזים לחוקרים. נותן להם קצה חוט לעקוב אחריו. המקרה של וויליאמס מוכיח שלפחות בחלק המפעמים זה לא המצב, שחוקרים מתייחסים למידע שמספקות המערכות האלו לא כאל קצה חוט אלא כאל אקדח מעשן, ראיה מכרעת שלא דורשת דבר נוסף ודי בה כדי לשלול את חירותו של אדם.

יותר מהדיוק של מערכות זיהוי פנים, האמונה של הגורם האנושי בדיוק שלהן היא הבעיה כאן. וזו בעיה שתלך ותחריף ככל שהדיוק של המערכות ישתפר. ככל שהן יעשו פחות טעויות, המידע שלהן יתפס כיותר אמין. וכתוצאה, כשכבר יהיו טעויות כאלו (ותמיד יהיו, שום מערכת אינה מושלמת), הפעולה העיוורת בעקבותיהן תהיה נחרצת יותר ופוגענית יותר. המקרים הבאים, חס וחלילה, לא יהיו של אדם חף מפשע שנעצר ונחקר, אלא של אדם חף מפשע שנעצר, הורשע ונשלח למאסר בגלל שמערכת זיהוי פנים סימנה אותו בטעות. זה יקרה, כי לא משנה כמה יזהירו, יחנכו ויסבירו תמיד יהיו אנשים שיפעלו מתוך הנחה שמחשב משוכלל "לעולם אינו טועש".