דוח טכנולוגי פייסבוק ידעה שהיא מעודדת ג'נוסייד במיאנמר - ובחרה שלא לעשות דבר
דוח טכנולוגי
פייסבוק ידעה שהיא מעודדת ג'נוסייד במיאנמר - ובחרה שלא לעשות דבר
הרשת החברתית של מארק צוקרברג הוזהרה עשרות פעמים בנוגע לאופן שבו האלגוריתם שלה מלבה את היצרים במדינה, מגביר את השנאה ומכשיר את הקרקע לרצח המוני. במקרה הטוב, האזהרות נפלו בין הכיסאות. במקרה הפחות טוב, הן נענו בהתעלמות גורפת
התאריך החשוב כאן הוא נובמבר 2012. כמעט חמש שנים לפני תחילת הג'נוסייד של בני הרוהינגה במיאנמר, לפני תחילתו של קמפיין טיהור אתני אכזרי שבמהלכו נרצחו אלפים, מספר לא ידוע של נשים ונערות נאנסו, גברים ונערים עונו ו-700 אלף איש - כ-80% מאוכלוסיית הרוהינגה במיאנמר - נאלצו להגר ממולדתם למדינה אחרת. במועד זה, בשיחה בין הטאיקה הואנג, פעילה בארגון סיוע במיאנמר, לבכיר בצוות המדיניות הציבורית של פייסבוק (כיום מטא), קיבלה החברה אזהרה ראשונה על הסכנה שמציבים ביטויי השנאה ברשת החברתית ליציבות החברתית במיאנמר. חצי עשור לפני שהכל התחיל, מטא כבר ידעה, או יכולה היתה לדעת, עד כמה הפלטפורמה שלה מסוכנת. וחרף אזהרה זו ואזהרות רבות שעוד קיבלה בשנים שלאחר מכן, החברה לא עשתה די, אולי אפילו לא עשתה דבר, כדי למנוע את הג'נוסייד.
זו כנראה המסקנה החשובה ביותר שעולה מהדו"ח שפרסם הלילה ארגון אמנסטי, הסוקר את התרומה של פייסבוק לג'נוסייד הרוהינגה ואת המחדלים שלה לאורך הדרך. הדו"ח חוזר בחלקו על מידע מוכר מדיווחים קודמים ובפרט מתעכב על האופן שבו פייסבוק כשלה בהסרת תוכן שטנה שהסית לאלימות נגד הרוהינגה, ועל הקשרים בין תוכן זה למקרי אלימות חמורים בעולם הלא מקוון. הוא גם מוסיף מידע חשוב על התפקיד האקטיבי שהיה לפייסבוק, ובפרט לאלגוריתם המלצות התוכן שלה, בקידום תוכן זה. פייסבוק, מסתבר, לא רק כשלה בהסרת תכנים מסוכנים אלא גם שיחקה תפקיד מרכזי בהפצתם.
לפי הדו"ח, לדוגמה, במסמכים פנימיים של פייסבוק נחשף שב-2020 צוות בקרת תוכן במטא קיבל לבדיקה סרטון שטנה של דמות מוכרת שמסיתה בקביעות נגד בני הרוהינגה. בבדיקה שנערכה התברר שהאלגוריתמים של החברה קידמו את הסרטון בצורה אקטיבית וש-70% מהצפיות בו היו צפיות "משורשרות" - כלומר צפיות שבהן הסרטון מתנגן אוטומטית אחרי צפייה בסרטון אחר. המסמך העלה עוד כי משתמשי פייסבוק במיאנמר צופים "הרבה יותר זמן בווידיאו בהשוואה לשאר העולם וכי 40% מזמן הצפייה שלהם בווידיאו הוא בסרטונים משורשרים".
ואולם, הממצא המעיק ביותר חבוי אי שם בעמוד ה-51 (מתוך 74): סקירה מפורטת ומדוקדקת של כל הפעמים המתועדות שבהן הוזהרה פייסבוק מהסכנה של פעילותה במיאנמר. לא פחות מ-15 פעמים אוזהרה פייסבוק על הסכנה שמדיניות בקרת התוכן הכושלת שלה מציבה ומספר זהה של פעמים החברה הגיבה בהתעלמות, בזלזול או בתגובת חסר.
האזהרות היו מפורטות ומגוונות. בנובמבר 2013, למשל, האלה קאלאן, חוקרת מאוניברסיטת סטנפורד שחקרה את ביטויי השטנה במיאנמר, נפגשה במטה פייסבוק בקליפורניה עם סגן נשיא החברה לתקשורת ומדיניות. היא העלתה את בעיית ביטויי השטנה במיאנמר וביקשה מהחברה להתייחס לסוגייה ברצינות, אבל, לפי הדו"ח, פייסבוק לא התעניינה בסכנה מכיוון שמיאנמר נתפסה כהזדמנות שוק משמעותית מבחינת צמיחת משתמשים.
כחצי שנה מאוחר יותר, במרץ 2014, שישה מעובדי פייסבוק השתתפו בשיחה עם אקדמאים ומומחים מארגוני חברה אזרחית, במהלכה חוקר בשם מאט שיסלר סיפק "תיאור בוטה של האיסלאמופוביה המסוכנת בפייסבוק" ופירט "את השפה המטרידה שעושה דה-הומניזציה לבני הרוהינגה ואת התפוצה הרחבה של דיס-אינפורמציה". ביולי 2014 פרצו מהומות אלימות בעקבות שמועה בפייסבוק, לפיה שני מוסלמים אנסו בודהיסטית צעירה. פעילים בשטח העבירו לפייסבוק אזהרות חוזרות ונשנות, אך לא זכו לתגובה. מתי כן התקבלה תגובה? רק אחרי ששיסלר פנה לחברה כשהרשויות במיאנמר חסמו את הגישה לפייסבוק ביום השלישי למהומות הקטלניות.
במאי 2015, מייסד ארגון Phandeeyar, דייוויד מאדן, הגיע למטה פייסבוק בקליפורניה כדי להסביר לבכירי החברה מה בדיוק מתרחש במיאנמר. וכדי שלא יהיו ספקות לגבי הסכנות, הוא הבהיר בדיוק עד איפה המצב יכול להדרדר. "עשיתי אנלוגיה למה שקרה ברואנדה", הוא סיפר לאמנסטי. "היה ג'נוסייד ברואנדה והרדיו שיחק בו תפקיד מפתח. החשש שלי היה שפייסבוק תשחק תפקיד דומה במיאנמר - כלומר, שהיא תהיה פלטפורמה שדרכה יופצו ביטויי שטנה ותתבצע הסתה לאלימות. אמרתי את זה באופן מפורש מאוד גם בהזדמנויות רבות לאחר מכן".
וכך זה נמשך. מומחים ופעילים בשטח, לפעמים גם כלי תקשורת, מזהירים את החברה שוב ושוב. הם מזהים בזמן אמת את המצב המסוכן שמתפתח, מבקשים או מתחננים לסיוע ופעולה נחושה, וזוכים להתעלמות או לתגובה מזלזלת. האזהרה המתועדת האחרונה התקבלה ביוני 2017, שבועות ספורים לפני פרוץ הג'נוסייד. משלחת מטעם מטא הגיעה למיאנמר ונפגשה עם ארגוני זכויות דיגיטליות מקומיים. ויקטוריה ריו, שהשתתפה בשתיים מהפגישות, סיפרה לאמנסטי שהיא התריעה על הצורך במנגנונים משופרים לדיווח על תוכן מסית ושיש להתאים את מדיניות התוכן להקשר ולסיכונים המקומיים (כמעט חצי עשור מאוחר יותר, המועצה המפקחת של מטא פרסמה שורת המלצות מפורטות ברוח דומה).
"הזהרנו אותם בכל הזדמנות שהיתה לנו", אמרה הואנג, הפעילה שמאחורי האזהרה הראשונה ב-2012 ועוד כמה אזהרות נוספות. "לא היה להם אכפת. הם התעלמו מאיתנו במשך הרבה זמן ואז התמקדו רק בפתרונות יחצ. נדמה היה שאכפת להם יותר מהסיכון למוניטין שלהם מאשר באמת להתמודד עם הבעיות".
פייסבוק ידעה גם, כפי שעולה מחלקים אחרים בדו"ח, על הסכנות הכלליות שמציבים האלגוריתמים שלה ועל האופן שבו הם יכולים לגרום להקצנה ולהסתה. מחקר שפייסבוק עצמה ערכה ב-2012, שבחן את האופן שבו שינויים בניוזפיד משפיעים על התנהגות ומצב רוח של משתמשים, העלה כי שינויים אלגוריתמיים יכולים לשנות מצב רגשי. מחקר אחר של החברה ב-2015 העלה כי "האלגוריתם של הניוזפיד מפחית בצורה משמעותית את החשיפה לתוכן מגוון אידיאולוגית. שנה מאוחר יותר מצאה החברה כי האלגוריתם שלה אחראי לשגשוג של תוכן קיצוני בקבוצות פוליטיות בגרמניה. "64% מכל ההצטרפויות לקבוצות קיצוניות התבצעו בגלל כלי ההמלצה שלנו - כלומר, מערכות ההמלצה שלנו מגדילות את הבעיה", מצאה החברה.
כל הידע היה פרוש בפניה, בין אם כי קיבלה אותו באדיבות מומחים בשטח ובין אם כי זיהתה אותו בעצמה. הסכנות של פרסומי ההסתה במיאנמר, כולל השוואה שאינה משתמעת לשני פנים לג'נוסייד ברואנדה, והאופן שבו המערכות שלה עצמה יכולות לקדם ולהפיץ את הפרסומים המסוכנים האלו. ידעה, ולא עשתה דבר על מנת להתמודד עם הסכנות ולבלום את הג'נוסייד.
רק באפריל 2018, כשהג'נוסייד כבר היה בעיצומו, בתגובה לפנייה מצד פעילים שעוררה סערה תקשורתית, הבטיח המייסד והמנכ"ל מארק צוקרברג לפתח כלי בינה מלאכותית "שיעזרו לנו לזהות טוב יותר תוכן מסית ומזויף לפני שהוא מסומן על ידי הקהילה שלנו" - מה שלא בדיוק קרה. למה פייסבוק כשלה בצורה כל כך בוטה בבלימת השטנה וההסתה במיאנמר? האזהרות התכופות והאנלוגיות הברורות של חלקן פוסלים את האפשרויות שמדובר בחוסר ידע או בהיעדר יכולת לדמיין את הסכנה שהתפתחה. המשאבים הכספיים הרבים שעומדים לרשותה והגישה שלה לכוח האדם המצוין ביותר בשוק מאפשרים גם לפסול את האפשרות שלא היתה לה את היכולת הטכנולוגית או הלוגיסטית לספק מענה ראוי.
נותרה, אם כן, אפשרות אחת: היא פשוט לא רצתה. "המערכות האלגוריתמיות שמעצבות את חוויית המשתמש בפייסבוק וקובעות איזה מידע מוצג בנויות על מנת להשאיר אנשים בפלטפורמה", נכתב בדו"ח של אמנסטי. "ככל שהמשתמשים יותר פעילים, כך עולות הכנסות מטא מפרסום. המערכת מתעדפת תוכן משלהב, מפלג ומסיתה, כיוון שתוכן זה ממקסם את הפעילות".
