נחשף בכלכליסטארגוני חברה אזרחית: "מערכת AI לניבוי פשיעה בנתב"ג - פגיעה בזכויות אדם"
נחשף בכלכליסט
ארגוני חברה אזרחית: "מערכת AI לניבוי פשיעה בנתב"ג - פגיעה בזכויות אדם"
כך כותבים חוקרי המכון הישראלי לדמוקרטיה ומכון תכלית למדיניות ישראלית בניירות עמדה לקראת הדיון שייערך מחר בכנסת על השימוש שעושה המשטרה באלגוריתם ממוחשב לחיזוי סטטיסטי של בלדרי סמים, שנחשף בתחקיר "מוסף כלכליסט". המכון לדמוקרטיה: "המודל עלול להפלות לרעה על בסיס מוצא אתני, מגדר ונטייה מינית". מכון תכלית: "שיטת הפרופיילינג לא הוכחה כיעילה"
ארגוני חברה אזרחית, ובהם המכון הישראלי לדמוקרטיה ומכון תכלית למדיניות ישראלית, מתריעים בניירות עמדה על פגיעה לא מידתית בזכויות אדם וכן על קשיים משפטיים, טכנולוגיים וערכיים שעולים מהשימוש שעושה המשטרה בנתב"ג במערכת פרופיילינג ממוחשבת המבוססת על בינה מלאכותית (AI) לאיתור בלדרי סמים. השימוש במערכת נחשף בתחקיר "מוסף כלכליסט" בנובמבר האחרון.
ניירות העמדה הוכנו לקראת דיון בנושא שזימן למחר (א') בכנסת יו"ר ועדת חוקה, חוק ומשפט, ח"כ שמחה רוטמן.
"הפגיעה בזכויות אדם על ידי מערכת לניבוי פשיעה היא ברורה ומובהקת, וההסמכה (החוקית, ת"ג) הנדרשת לשימוש במערכת כזאת צריכה להיות ברורה ומפורשת", כותבים במכון הישראלי לדמוקרטיה. "עצם השימוש במערכת (גם ללא כניסה לפרטים) צריך להיות ידוע לציבור וכמובן למחוקקים ולשומרי הסף האחרים, ולא להתגלות במפתיע בדיעבד".
במכון תכלית הוסיפו: "המערכת מנציחה ומגבירה את ההסתייעות בפרופיילינג בנתב"ג, שיטה אשר לא הוכחה כיעילה אך פוגעת בזכויות אדם".
באגודה לזכויות האזרח, שהגישה גם נייר עמדה לוועדה, פנו לאחר תחקיר "כלכליסט" ליועמ"שית גלי בהרב-מיארה בדרישה להקפאת את השימוש במערכת עד חקיקה – ולא נענו.
בנייר העמדה שעליו חתומים חוקרי המכון לדמוקרטיה, ד"ר תהילה שוורץ-אלטשולר ועו"ד עמיר כהנא, הם מתריעים כי השימוש שהתגלה רק בדיעבד במערכת טכנולוגית, המהווה במקרה זה "שיטור מנבא", מעיד על דגם חוזר ומטריד של אימוץ טכנולוגיות על ידי משטרת ישראל.
"קיים דגם חוזר, שעלה גם בדיונים האחרונים שניהלה הוועדה, בעניין השימוש במערכות מעקב טכנולוגיות על ידי המשטרה (הכוונה לשימוש הלא חוקי, מפוקח ומבוקר ברוגלות כגון תוכנת פגסוס של NSO שעולה מדו"ח צוות מררי, ת"ג)", כותבים חוקרי המכון. "מדובר בדגם שלפיו המשטרה רוכשת מערכות טכנולוגיות בלי שהיא מפעילה מערך מספק של הבנה טכנולוגית והבנה משפטית באשר למשמעויות המעשיות והמשפטיות שלהן, והדברים מתגלים רק בדיעבד".
גם בנייר העמדה של מכון תכלית, שעליו חתום ראש תכנית האמנה החברתית בעידן הדיגיטלי, ד"ר טל מימרן, מציינים כי חשיפת השימוש החשאי שנעשה במשך שנים במערכת מעיד על בעיה ברשויות אכיפת החוק. "ההכנסה לשימוש וההפעלה של המערכת לאיתור חשודים מעידות על בעיה רוחבית בכל הנוגע לשימוש בטכנולוגיות לשם הפעלת כוח שלטוני, ובפרט כאלה המבוססות על בינה מלאכותית", כותבים במכון תכלית.
"מערכות מבוססות למידת מכונה אינן 'רעות' או 'טובות' בהכרח", מציינים חוקרי המכון לדמוקרטיה, "אולם לעיצובן ולפיתוחן של טכנולוגיות, ולהקשר שבו הן משמשות יש נגיעה לזכויות אדם. לחלקן, ביחוד בתחומי יישומים באכיפת חוק ושיטור, יש השפעה כה רבה עד כי האיחוד האירופי או האו"ם מציעים לאסור כליל על השימוש בהן.
"לצד היתרונות של מערכות אלגוריתמיות בקבלת החלטות שהן גם יעילות וגם חפות מהטיות קוגניטיביות אנושיות, מערכות אלו אינן חסינות מהטיות מתודולוגיות הנובעות מתהליכי הפיתוח שלהן, המבוססים על נתונים. מכונות לומדות מבססות את הלמידה שלהן על 'נתוני אימון', שמהם מסיקה המערכת מהו המודל האופטימלי לחיזוי. מודל זה עלול להיות מוטה באופן שמפלה לרעה או פוגע באוכלוסיות מסוימות על בסיס מוצא אתני, מגדר, נטייה מינית וכיוצא באלה".
במכון תכלית מוסיפים כי "קשה לקבל מצב בו אלגוריתם מקבל החלטה על בסיס נתונים שאינם ידועים, דרך הליך קבלת ההחלטות אינה גלויה לציבור, ולא מוסבר מדוע אדם – לעתים נורמטיבי לחלוטין – צריך להיות מעוכב לחיפוש".
במכון לדמוקרטיה כותבים בעניין זה כי "כאשר עסקינן במערכת הכללה או שיטור מנבא שתכליתה להצביע על 'חשודים סטטיסטיים' בעבירות, עולות גם שאלות הנוגעות לכללי הצדק הטבעי, הליך הוגן ואכיפה בררנית. זאת בהשוואה לפעולות של שוטרים בשר ודם, שאין להתעלם מן ההטיות שלהם אבל הן אינן הטיות אלגוריתמיות שיטתיות".
לדברי חוקרי המכון, "מצב שבו משטרת ישראל תעשה שימוש במערכת אלגוריתמית שמכווינה פעילות ליבה משטרתית ועל סמך המלצותיה עורכים חיפוש בגופו ובכליו של אדם, בלי שניתן יהיה לבדוק בדיעבד אם זו פעלה כדין, הוא מצב בלתי מידתי".
הם מסכמים: "אנו סבורים כי כמו שעושים ביקורת חשבונאית חיצונית לדו"חות כספיים של תאגידים, יש לחייב רשויות ציבוריות, ובוודאי רשויות אכיפת חוק המפעילות מערכות בינה מלאכותית, להגיש לגורם ביקורת חיצוני המתמחה בתחום ההוגנות והבינה המלאכותית דגימה מהתוצאות שהמערכת מפיקה".
