דואר אדום ועידות

עשרות מומחי AI: תוכנת זיהוי הפנים של אמזון פגומה, ופוגעת בזכויות אדם

מערכת Rekognition שפיתחה החברה מתקשה בזיהוי המגדר של נשים, ובפרט כהות עור, מה שמוביל לטעויות בזיהוי ומעצרי שווא; מומחים עולמיים מהאקדמיה ומחברות טכנולוגיה, ביניהם חתן פרס טיורינג יושוע בנגיו, פנו לאמזון במכתב פתוח ודרשו ממנה לתקן את המעוות

"אמזון חייבת להפסיק למכור לכוחות משטרה את מערכת זיהוי הפנים הפגומה שלה" - כך דורשים עשרות מומחים בינה מלאכותית, ובראשם חתן פרס טיורינג ל-2019, ד"ר יושוע בנגיו, וכן מומחי AI מגוגל, מיקרוסופט ופייסבוק, במכתב פתוח שפרסמו באתר מדיום.

קראו עוד בכלכליסט:

המכתב נוסח בעקבות מחקר של מדענים מ-MIT, שגילה שתוכנת זיהוי הפנים של אמזון, Rekognition, מתקשה בזיהוי המגדר של נשים, ובפרט נשים כהות עור, בהשוואה למערכות דומות של IBM ומיקרוסופט. לפי המחקר המערכת זיהתה נשים כגברים ב-19% מהמקרים, ונשים כהות עור כגברים ב-31% מהמקרים. זאת, לעומת 0% טעויות בזיהוי המגדר של גברים בהירי עור. כוחות משטרה באירופה ובארה"ב משתמשים בתוכנות שכאלה לזיהוי חשודים, וטעויות שכאלה גורמות למעצרי שווא.

זיהוי פנים פגום - סכנה לזכויות אדם צילום: שאטרסטוק

"אין חוקים או תקנים מחייבים שמוודאים שלא נעשה ב-Rekognition שימוש שמפר זכויות אזרח", כתבו החוקרים. "אנחנו קוראים לאמזון להפסיק למכור את Rekognition לכוחות אכיפת חוק". עם פרסומו נמנו על חותמי המכתב 25 מדענים, ובהם חוקרים מאוניברסיטאות סטנפורד, קאלטק, אוקספורד וקרנגי-מלון. מאז פרסומו צרפו את חתימתם 30 מדענים נוספים, ובהם חוקרים מהארוורד, קורנל ומעבדות ה-AI של אינטל.

חלק ניכר מהמכתב מוקדש לניתוח טכני של טענות אמזון שניסו לערער על אמינות המחקר, וחתימה של מדענים כה בולטים עליו מהווה הדיפה משמעותית של ניסיונות ההתכחשות של החברה. ניסיונות אלה פתטיים במיוחד לאור העובדה שחברות אחרות, כמו IBM ומיקרוסופט, הגיבו למחקרים קודמים מאותם חוקרים ב-MIT בעדכון השירותים שלהם במטרה לפתור את הבעיות שהועלו.

"התגובה של אמזון לממצאים המחקר מאכזבת", מסכם המכתב. "אנחנו מקווים שהחברה תבצע בדיקה עמוקה של מוצרים ותשקול האם כוחות משטרה צריכים לעשות בהם שימוש".