נאומי AI של היטלר וקידוד מסרים מכחישי שואה: כך משגשגת הרשת הפרו-נאצית בטיקטוק
נאומי AI של היטלר וקידוד מסרים מכחישי שואה: כך משגשגת הרשת הפרו-נאצית בטיקטוק
תמונות תמימות לכאורה של ארכיטקטורה אירופית שמסוות תעמולה נאצית, דימויים של "תנור" ו"מזון" להעברת מסרי הכחשת שואה וערוצים שמעודדים צפיות בסרטי תעודה - דו"ח חדש חושף כיצד רשת של מאות חשבונות פרו-נאצים מצליחה להערים על טיקטוק, ואף זוכה לחשיפה אדירה באמצעות האלגוריתם שלה
הטקטיקות שלהם מתוחכמות ומתעדכנות, הפעילות שלהם מתואמת היטב, התכנים שלהם עושים שימוש בבינה מלאכותית גנרטיבית (GenAI) ובמוזיקה עדכנית, המסרים רוויי שטנה ואלימות, התגובה של טיקטוק לא רק שלא מצליחה לבלום אותם אלא לעתים מעצימה ומקדמת אותם לקהלים חדשים, והסרטונים שלהם, שכוללים הכחשת שואה, האדרת היטלר ונאציזם ותמיכה במחבלים שביצעו טבח המוני, זוכים למיליוני צפיות.
דו"ח שהתפרסם השבוע חושף איך רשת של מאות חשבונות טיקטוק פרו-נאצים, שפועלים בתיאום בטיקטוק ומחוצה לה, מגיעים למיליוני צפיות, מצליחים להערים על מאמצי החסימה הרפים של טיקטוק, וגם זוכים לבוסט בתפוצה הודות לאלגוריתם העוצמתי של הפלטפורמה.
"לטיקטוק אין את הכלים להתמודד עם התבטאויות שטנה מתואמות", נכתב בדו"ח, שכתבו חוקרים מהמכון לדיאלוג אסטרטגי (Institute for Strategic Dialogue, ISD), גוף מחקר עצמאי ללא מטרות רווח שמתמחה בניתוח שיח קיצוני ומקצין. "החשבונות פועלים ברמת תחכום שלא ניתן לזהות בבחינה פרטנית של חשבונות. הם יודעים להעצים את התוכן שלהם במהירות, ומנצלים את הנהלים של טיקטוק, כמו מתן אזהרה לפני חסימה, על מנת להפעיל חשבונות גיבוי ולהעביר אליהם עוקבים להמשך פעילות רציפה".
לצורך ביצוע המחקר וכתיבת הדוח, החלו חוקרי ISD בבדיקת חשבון טיקטוק אחד שזיהה את עצמו כפרו-נאצי. כשהם עובדים בשיטת "כדור שלג" (שיטה הדרגתית שבה מזוהים חשבונות שקשורים לחשבון המקור, ואז חשבונות שקשורים אליהם וכן הלאה), איתרו החוקרים מאות חשבונות נוספים, שלעתים קרובות עשו שימוש בסלוגנים ובדימויים נאציים. "אספנו רשימה של 200 חשבונות, במיוחד כאלו שקידמו באופן פעיל אידיאולוגיה נאצית או ימין-קיצונית". בנוסף, החוקרים עקבו אחרי החשבונות כדי לקבל גישה לתוכן בערוצים פרטיים, יצרו חשבון דמה על מנת לבחון את מנגנון ההמלצות של טיקטוק וחקרו גם את האופן שבו מפעילי החשבונות משתמשים בטלגרם על מנת לתאם את הפעילות ברשת החברתית.
הדוח מצביע על שתי מגמות מרכזיות שמאפיינות את פעילות הרשת הנאצית. הראשונה, שימוש נרחב ב-GenAI ליצירת תכנים, ובפרט דימויים קריקטוריסטיים ומשפילים של קבוצות אתניות לא לבנות, שמתארים אותן כמאיימות על קהילות לבנות. "דוגמה פופולרית אחת היא תרגום מבוסס GenAI של נאום של היטלר, שעדיין זוכה לבולטות בטיקטוק. קטעים מהנאום שימשו בסרטונים שמאדירים את ג'וסף גבלס, מקדמים סרט תעודה נאצי, או מפיצים קריאות מעודדות לאלימות נגד יהודים, וזכו למיליוני צפיות", נכתב בדו"ח.
מגמה שנייה היא שימוש בספריית הצלילים והשירים של טיקטוק כאמצעי זיהוי מקודד שנועד לעקוף את מערכות ניטור התוכן של הפלטפורמה. "שירים הופכים לנקודת התייחסות פנים-קבוצתית שמשתמשים קיצוניים אחרים מזהים. הם יוצרים פוסטים משלהם תוך שימוש באותם שירים, לעתים בלי תוכן קיצוני, וכך תורמים לטרנד", נכתב.
במקרים רבים, חוקרי ISD הצליחו לזהות תכנים וחשבונות רלוונטיים למחקר, למשל כאלו שמקדמים אידיאולוגיה נאצית או מאדירים מבצעי טבח המוני, באמצעות ניווט דרך מוזיקה רלוונטית במקום מילות מפתח. "חיפוש של שיר שהמחבל מקרייסטצ'ורץ' (בניו זילנד, ע"כ) ניגן בשעה שנסע מזירת הפיגוע שם רצח 51 מתפללים מוסלמים הניב 1,200 סרטונים. 7 מ-10 הפופולרים ביותר האדירו את הפיגוע, את המניע לו, את המחבל, ואפילו שחזרו אותו במשחק וידיאו. שבעת הסרטונים הללו לבדם זכו ל-1.5 מיליון צפיות, וכנראה שיש עוד מאות שדומים להם. סרטון אחד כלל תגובה עם קישור לתמונות וידיאו שצילם המחבל, על מנת לבאר את ההקשר המקודד".
במקרים מסוימים, המוזיקה בסרטון כללה מסרי שטנה, כמו שיר ששולב ב-119 סרטונים וכולל את המילים: "Kill the fuckers and Jews" (הרגו את המזדיינים והיהודים). אחרים שילבו קטעים מנאומים של מוסוליני והיטלר, במטרה להאדיר אותם ואת מסריהם.
חשבונות חדשים זוכים למאות אלפי צפיות
לצד המגמות, מזהה הדוח גם ארבע טקטיקות פעולה שמאפיינות את החשבונות הפרו-נאצים. הראשונה היא שימוש בשפה מקודדת – מילים וביטויים תמימים לכאורה, אך בעלי משמעות נסתרת שברורה היטב לכל חברי הקבוצה. למשל, שימוש בדימויים של תנור ומזון להעברת מסרי הכחשת שואה (המסר המקודד הוא שלא היו מספיק "תנורים" כדי "לבשל" 6 מיליון פרטי מזון).
טקטיקה שנייה היא מינוף תמונות תמימות לכאורה לצורך העברת מסרים קיצוניים. "טקטיקה זו עושה שימוש בתמונות או סרטונים של ארכיטקטורה אירופית, כביכול על מנת לעורר גאווה במורשת האירופית. ואולם, סרטונים אלו עוברים במהרה לתוכן קיצוני, כולל תעמולה נאצית וביטויי שטנה כלפי מיעוטים", נכתב בדו"ח.
טקטיקה נוספת היא התיאום בין המשתמשים הפרו-נאצים, בעיקר באמצעות ערוצי טיקטוק, שם הם בין השאר דואגים להניע תמיכה (בדמות צפיות ולייקים) לסרטונים שהעלו. "הדוגמה הבולטת ביותר היא ערוץ טיקטוק עם 12 אלף חברים שמוקדש לקידום סרט תעודה ניאו-נאצי בשם Europa: The Last Battle, שנועד להקצין משתמשים לתמיכה בתעמולה נאצית. הערוץ כולל כמה פוסטים שמעודדים את המשתמשים לקדם את הסרט. אחד מהם אומר להציף את טיקטוק בסרטוני תגובה, כדי לגרום לו להפוך לוויראלי".
חקירת ISD זיהתה אינספור סרטונים שמקדמים את הסרט, בהם כאלו עם יותר מ-100 אלף צפיות. חיפוש בטיקטוק של שם הסרט מספק עשרות תוצאות. חשבון אחד שמפרסם קטעים מהסרט, ובהם טענה שמשפחת רוטשילד שולטת בתקשורת ובוחרת את נשיא ארה"ב, צבר קרוב ל-900 אלף צפיות.
פעילות תיאום מתבצעת גם בטיקטוק עצמה. "משתמש אחד כתב בפוסט שהוא באזהרה האחרונה שלו (לפני שחשבונו ייחסם בגלל הפרת כללי הקהילה - ע"כ), ופרסם את חשבון הגיבוי שלו. החשבון נחסם זמן קצר לאחר מכן. החשבון החדש צבר 100 אלף צפיות לחמישה סרטונים בתוך שלושה ימים. חשבון זה, בדומה לרבים אחרים, משתמש בטקטיקת 'מחזיר עוקב', שנפוצה ברשתות קרובות ומאפשרת צמיחה מהרה. טקטיקה אחרת היא הפעלת חשבונות עם שמות משתמש, תמונות פרופיל והיקף עוקבים ונעקבים כמעט זהים, עדות לכך שמדובר בחשבונות משוכפלים של אותו משתמש.
"טקטיקות כמו זו מבהירות את הקושי של טיקטוק להתמודד עם הבעיה: הפלטפורמה מסירה חשבונות או סרטונים על בסיס פרטני, במקום להתמודד עם הרשת כולה. כתוצאה, כשמשתמשים נחסמים הם יכולים ליצור מחדש את החשבונות ואת היקף החשיפה שלהם במהירות".
הטקטיקה האחרונה שמזהה הדוח היא מינוף טיקטוק לגיוס משתמשים לפעילות בעולם הלא-מקוון: "כמה גופים פשיסטיים וארגוני ימין-קיצוני מגייסים בגלוי בפלטפורמה. אתר עם פליירים אנטישמיים והוראות איך להדפיס ולהפיץ אותם קודם על ידי החשבונות שנוטרו". חשבון אחד שנוטר, ושבין השאר פרסם סרטונים שקוראים "להרוג כל יהודי", פרסם תכנים שכוללים הוראות להכנת מטעני חבלה מאולתרים, הדפסת נשק במדפסות תלת-ממד ונפאלם. המפעיל עודד משתמשים לעבור ליישומי צ'ט קבוצתי דוגמת Element ו-Tox, במטרה לקבל שם את הוראות ההכנה המלאות. נכון ליוני השנה, היו לחשבון 10 אלף עוקבים. לפי הדוח, לא מדובר בדוגמה חריגה.
טיקטוק מקדמת את התכנים
מה עושה טיקטוק על מנת לבלום את החשבונות הנאציים? לא מספיק, לפי ISD. מחברי הדו"ח דיווחו לפלטפורמה על 50 חשבונות שהפרו את כללי השימוש בה, כולל קידום אלימות ונאציזם, הכחשת שואה והאדרת מחבלים נאו-נאצים. "הפלטפורמה לא מצאה הפרות, וכל החשבונות נשארו פעילים יום אחרי הדיווח. עם זאת, שבועיים מאוחר יותר, 15 מהחשבונות נחסמו. אחרי חודש, 23 נחסמו. בשעה שהפלטפורמה מסירה לבסוף חשבונות מפירים, במקרים רבים היא עושה זאת רק אחרי שהם הגיעו לחשיפה משמעותית. סרטונים שפרסמו 23 החשבונות שנחסמו צברו לפחות 2 מיליון צפיות לפני שנחסמו".
אבל המחדל של טיקטוק הוא לא רק כשל בחסימת החשבונות המפרים, אלא גם, ואולי חמור יותר, בקידום התכנים שלהם באמצעות אלגוריתם ההמלצות שלה. במאי 2024, יצרו החוקרים חשבון דמה, שצפה בעשרה סרטונים מרשת המשתמשים הפרו-נאצים, בכמה מקרים קרא תגובות, אבל לא ביצע פעולות כמו לייק או סימון תגובה. כמו כן צפה החשבון בעשרה עמודי משתמש. "אחרי האינטראקציה השטחית הזו, גללנו בפיד ה-For You של טיקטוק, שכמעט מיד התמלא בסרטוני תעמולה נאצית. אחרי שלושה סרטונים, האלגוריתם הציע סרטון שכלל דימוי של חייל נאצי ממלחמת העולם השנייה עם טבלה של שיעור הרצח בארה"ב בחלוקה לפי קבוצות גזע. אחרי 25 סרטונים, הופיע נאום של היטלר, מתורגם באמצעות AI, לצד פוסטר גיוס של קבוצת עליונות לבנה". בחשבון דמה אחר, שנוצר בתחילת מאי, 7 מ-10 המלצות עדכניות היו לסרטונים של משתמשים שזיהו עצמם כנאצים, או שכללו תעמולה נאצית.
מטיקטוק נמסר בתגובה לכלכליסט: "בטיקטוק אין מקום להתנהגויות שטנה או אידיאולוגיות וארגונים המעודדים שנאה. אנחנו מסירים למעלה מ-98% מהתוכן מהסוג הזה עוד לפני שהוא מדווח לנו באפליקציה. אנחנו עובדים עם מומחים כדי לאתר מראש את התפתחותן של מגמות כאלו ופועלים לחזק את אמצעי ההגנה שלנו מפני אידיאולוגיות וקבוצות שנאה".
