רובוט אסור, רובוט מותר
הרובוטים החדשים מתוכנתים לעבוד, להילחם ולטפל. הם גם מסוגלים להביע רגשות - ולרגש אנשים. מה זה עושה לבני האדם? והאם אפשר לתכנת רובוטים לפעול לפי חוקי החברה האנושית, או שהגיע הזמן להמציא מוסר חדש?
Qrio נראה כמו ילד מכני ומחקה מגוון התנהגויות אנושיות. הילדים התייחסו אליו כאילו היה אחד מהם צילום: אי פי אי
השאלות האלו לא נוגעות רק לילדים. אחד הרובוטים הפופולריים ביפן הוא Paro הרך והפרוותי, שנראה ומתנהג כמו גור כלבי ים. פארו נולד מההכרה בכך שלקשר חם עם בעלי חיים יש כוח מרפא; מכיוון שלא כולם יכולים לטפל בחיה אמיתית, פותח רובוט נטול חיים, שמיועד למשחק עם ילדים מוגבלים שכלית, מטופלים בבתי חולים וקשישים.
"אצל היפנים, לא רק בסוני אלא בקרב רבים אחרים בתחום הרובוטיקה, אחת המטרות תמיד היתה ליצור שותף לחיים", אומר ארקין. "זה נשמע כמו דבר טוב - שיהיה לך רובוט שיוכל לחלוק איתך את חייך בדרכים משמעותיות. אבל אחת השאלות היא אם אנחנו לא ממהרים מדי להוציא את בני האדם מהמעגל של טיפול בקשישים. האם אנחנו משקיעים בחיפוש פתרונות אחרים לבעיה - או שאנחנו פשוט פונים לטכנולוגיה שתשמש להם שמרטף עד מותם? האם אנחנו לא מועלים באחריות שלנו לאנשים האלה?
"עוד נקודה, שהעלה מומחה האתיקה האוסטרלי רוברט ספארו, היא שגם לזקנים יש זכות לשמור על קשר עם המציאות – והם יותר פגיעים לאיבוד הקשר הזה. אולי לא ראוי ליצור להם אשליות באמצעות פלטפורמות רובוטיות".
יש שיגידו שלא מוסרי מלכתחילה ליצור רובוטים שמתנהגים כמו חיות ובני אדם, ושואבים מאיתנו תגובה רגשית.
"זה לא יותר בעייתי מללכת למחזה ולהאמין שהשחקן הוא הדמות שהוא משחק. אנחנו מתנדבים לעשות זאת, אנחנו משלמים עבור הפריבילגיה, ואנחנו נהנים מזה. כל התופעה של לבנות רגש באמצעים מלאכותיים ידועה לנו - אבל צריך להגדיר את הגבולות. אם אתה נכנס למצב הזה מתוך בחירה וידיעה, זה נשמע אתי. אם אתה נכנס אליו שלא ביוזמתך ואתה לא יודע מה קורה, זה עשוי להיות לא מוסרי.
"ככל שאנחנו מתקרבים למגע פיזי עם המכונות האלה, עולות עוד ועוד שאלות מוסריות. ראיתם את הסרט 'לארס והבחורה האמיתית'? הוא מדגים את הנטייה של בני אדם ליצור קשר עם מוצרים, במקרה זה בובת מין יפנית, ולפעמים להתאהב בהם. כרגע רבים יגידו שזה יכול לקרות רק למיעוט רפה שכל, אבל ככל שהמכונות מתקרבות לרמה אנושית של אינטראקציה ופעולה - ויום אחד הן אולי יעברו את הרמה האנושית -מי יכול להבטיח שחלק גדול מהאוכלוסייה, הן גברים והן נשים, לא יראו בדברים האלה אלטרנטיבות קבילות לחיי אהבה מסורתיים?".
אנחנו חוזרים למדע בדיוני.
"כמובן. כל היבט ברובוטיקה מונע על ידי המדע הבדיוני, מהיום הראשון".
איור: יונתן וקסמן
האם לחיות עם בני אדם ולהשאיר את הסקס לרובוט?
מקרים כמו זה של "לארס והבחורה האמיתית" הם תחום עבודתו של דיוויד לוי (63), אלוף שחמט סקוטי שהחל להתעניין בתחום התבונה המלאכותית עוד בשנות השישים. במשך יותר מ־40 שנה הוא עסק במחשבים שמשחקים שחמט, עד שיום אחד ראה את האור.
"יש מיליוני אנשים בודדים בעולם, והאנשים הללו אומללים כי הם בודדים", הוא פורס בפנינו את משנתו. "אולי כי הם ביישנים או שיש להם עכבות פסיכולוגיות, אולי אין להם כישורים חברתיים, או שיש להם אישיות לא נעימה, אולי הם מכוערים, או שהם גרים באזור שבו אין אנשים שאפשר לפגוש ולצאת איתם. אני חושב שהעולם יהיה מקום טוב יותר אם יהיו להם רובוטים שאיתם הם יוכלו ליצור מערכות יחסים.
"כשאני דן ברעיון של אדם שמתאהב ברובוט או רובוט שמתאהב באדם, אומרים לי: 'הם לא יכולים להתאהב, אין להם מוּדעוּת'. אבל יש הרבה מדענים שעובדים על מודעות מלאכותית, כך שהשאלה תיפתר בעשור הקרוב".
זו לא תהיה התחמקות מהבעיה האנושית, במקום להתמודד איתה?
"הרבה אנשים שואלים את השאלה הזאת, ומהניסוח משתמע שלכולם יש יכולת לפתח מערכות יחסים עם בני אדם. אבל יש אנשים שפשוט לא יכולים, ואני חושב שאנחנו צריכים לקבל את זה. אולי אם היו די פסיכיאטרים בעולם, ואם האנשים הללו היו הולכים בתכיפות מספקת לפסיכיאטר, אפשר היה לרפא חלק מהבעיות שגורמות להם להיכשל במערכות יחסים. אבל לדעתי תמיד יהיה מספר גדול של אנשים שלא יכולים ליצור מערכת יחסים אנושית מספקת, ועבורם יש שתי אפשרויות: שלא תהיה להם מערכת יחסים, או שתהיה להם מערכת יחסים עם רובוט.
פליאו הוא דינוזאור זעיר וידידותי שמתחיל את חייו אצל הלקוח כגור, ועם הזמן מתבגר צילום: Handout לוי התחיל לעסוק באהבה רובוטית ב־2003, לאחר שקרא את "העצמי השני", ספרה החלוצי של שרי טרקל, פרופסור ב־MIT, שיצא כבר ב־1984. "היא הראשונה שכתבה על איך מחשבים ישפיעו על חיינו מנקודת מבט חברתית. אחד הסטודנטים למדעי המחשב שהיא ראיינה, שמכונה אנתוני, אמר: 'ניסיתי בנות זוג, אבל אני מעדיף את הקשר שלי עם המחשב שלי'. הנימוק שלו היה שכשיש לך יחסים עם החברה, אתה לא יודע איך החברה תתייחס אליך, אבל עם מחשב אתה יכול להיות בטוח, כי תוכנות תמיד עובדות באותה צורה. למשפט הזה היתה השפעה רבה עליי, לא יכולתי להפסיק לחשוב עליו".
המחשבות הובילו אותו לחקור את הנושא של יחסי אדם־רובוט, מחקר שהסתיים בעבודת דוקטורט באוניברסיטת מאסטריכט בהולנד ובספר "אהבה וסקס עם רובוטים" - המוקדש לאנתוני "ולכל האנתונים האחרים, בעבר, בהווה ובעתיד, משני המינים". הספר תורגם לעברית ומתוכנן לצאת לאור בתחילת 2009 בהוצאת "שדרה".
התחום של סקס־רובוטים עדיין אינו מפותח מאוד, מודה לוי, אבל בחמש השנים הקרובות צפויה התקדמות משמעותית בתחום; הרי כבר יש לנו בובות מין שמגיבות לליטוף בפטמות, טכנולוגיית התנועה והתגובה לקול ולמגע קיימת ברובוטים מסוגים אחרים, ותעשיית המין מעולם לא נרתעה מטכנולוגיה.
גם בהיעדר פרטנרים מכניים למין, לוי כבר שקוע בדילמות הכרוכות בעניין. "השאלה ששואלים הכי הרבה היא אם סקס עם רובוטים הוא בגידה", הוא מספר. "הגישה שלי היא שזו לא בגידה, כמו שלהשתמש בוויברטור זו לא בגידה. אני חושב שזו עוד צורה של אוננות, כי הרובוטים אינם בני אדם. אבל יש אנשים שחוששים שאם אדם אחד בזוגיות משתמש ברובוט, בן זוגו ירגיש נבגד. לגבי ההתנהגות של הרובוטים עצמם, הכלל הראשי הוא שאסור להם לנהוג בצורה שהם יודעים שתהיה לא נעימה לבני האדם. אם יש לך רובוט, הוא ילמד מה את אוהבת ומה את לא אוהבת, ועליו להימנע מלעשות דברים שאת לא אוהבת".
כלומר מדובר ברובוט עם בינה מלאכותית, שעשוי לגרום לאנשים להתאהב בו. זה עניין בעייתי בפני עצמו.
"דתיים עשויים להתנגד לרעיון. אבל כשספרי יצא לאור ציפיתי להתנגדות גדולה, והופתעתי כשזה לא קרה".
ולא מדאיגה אותך המחשבה שאנשים יתאהבו במוצר מסחרי? שתיווצר איזו התמכרות שהיצרן של הרובוט ינצל כדי להרוויח עוד כסף?
"אפשר לראות גם אהבה כהתמכרות, וכשאתה אוהב מישהו אתה מוציא עליו כסף. יכול להיות שימוש לרעה, אבל אני בטוח שיהיו חוקים שיטפלו בזה. כמו שלמדינות שונות ולאנשים שונים יש גישות שונות להימורים, כך גם לגבי יחסי חיבה עם רובוטים. אם חברה יוצרת רובוט שהלקוח צריך לשלם יותר בכל פעם שהוא מקיים איתו יחסי מין, אפשר לטעון שזה דבר רע לחברה האנושית. מצד שני, אם הלקוח מרוצה, אפשר לטעון שזה בסדר. יש הרבה שאלות אתיות שאני לא יכול לענות עליהן, כי אני לא פילוסוף".
כדאי ללכת לרובוט במקום לפסיכיאטר?
ובכל זאת, לוי עוסק גם בפילוסופיה. נישואים עם רובוטים, התמכרויות וניצול צרכני הן סוגיות חברתיות בעיקרן; המחלוקת גדלה כשמגיעים לסוגיות מוסריות. "האם פדופילים לא ירצו רובוטים בגודל ובדמות של ילדים?", מדגים לוי בעיה אתית מרכזית. "היבטים כאלה ישנם, אבל אני חושב שהם יכולים להיות מועילים, למשל על ידי פיתוח רובוטים טיפוליים, שינסו לרפא פדופילים ממצבם בטכנולוגיות פסיכולוגיות ופסיכיאטריות. ואם זה לא עובד, עדיף שפדופילים ישתמשו ברובוטים מאשר בילדים אמיתיים".
אנשים לא רוצים אפילו שפדופילים יקיימו יחסי מין וירטואליים עם דמויות ממוחשבות בצורת ילדים.
"באופן אישי, הייתי נועל את כל הפדופילים וזורק את המפתח. אבל אנשים עם יותר מצפון חברתי מנסים לרפא אותם, ואולי רובוטים יכולים לשמש בצורה זו. מה אתה מעדיף, פדופיל שמשתמש במחשב או ברובוט, או פדופיל שיוצא לחפש ילדים? התשובה ברורה. כתבתי בספר על אנשים בקינגס קולג' בלונדון שפיתחו את 'Beating the Blues' ('להביס את העצבות'); זו התוכנה הראשונה ששמעתי עליה שמצליחה בטיפול פסיכואנליטי באנשים - ומראה שתוכנות יכולות לשמש לטיפול בבעיות פסיכולוגיות ופסיכיאטריות".
Paro נראה ומתנהג כמו גור כלבי ים, ומיועד למשחק עם ילדים מוגבלים, מטופלים בבתי חולים וקשישים ושוב הרובוטים הם דרך עוקפת, במקום לפתור את הבעיה.
"אני פרגמטיסט. אני מאמין שאם יש בעיה חמורה, הכי חשוב לפתור אותה, לא לשבת ולדון באתיקה. אם יש לך מחלה חמורה, אתה הולך לבית החולים והרופאים מנסים לרפא אותך - אתה לא מתחיל לדון באתיקה של העובדה שמישהו שאתה לא מכיר חותך אותך ומסתכל לתוך גופך. זה טיפשי. אותו דבר לגבי רובוטיקה: אם רובוטים יכולים לפתור בעיות משמעותיות של יחידים ושל החברה, אנחנו צריכים להשתמש בפתרון הזה. ברור שאנחנו צריכים לדון בזה, אבל לא לתת לדיון לעמוד בדרכה של העובדה שרובוטים יכולים לפתור מגוון בעיות רציניות".
מה יקרה כשלרובוטים הצבאיים יימאס לשמור על שבויים?
האנושות ראתה ברובוטים סכנה הרבה לפני "שליחות קטלנית". אפשר ללכת אחורה בעקבות הפחד, אל הגולם מפראג, דרך פרנקנשטיין ועד סיפורים מיתולוגיים על אלים שהרגו את אבותיהם. כשענק המדע הבדיוני אייזק אסימוב התחיל לכתוב על רובוטים, בשנות הארבעים של המאה ה־20, הוא רצה לשבור סטיגמה שכבר היתה קיימת. לשם כך הוא גם המציא את שלושת "חוקי הרובוטיקה", הדיברות שמתוכנתים לכל רובוט (אסימובי) ואוסרים עליו לפגוע בבני אדם או להפר את פקודותיהם.
אלא שעכשיו אנחנו מתכננים לאפשר לרובוטים להרוג בני אדם - בפקודה. הרי רבים מכלי הנשק החדישים שכבר משמשים את צבא ארצות הברית וגם את צה"ל עונים להגדרה הרחבה של "רובוטים": מערכות טכנולוגיות עם יכולת פעולה עצמאית ("מערכות נשק אוטונומיות"). במקביל מפתחים בארצות הברית את מערכות הקרב העתידיות (FCS), שאמור להעמיד כוח של מטוסי קרב מאוישים ולא מאוישים שיפעלו על בסיס מידע שאספו רובוטי מעקב וייעזרו במערכות ארטילריה עם יכולת פעולה עצמאית. "צבא הרובוטים" הזה, כפי שמכנה אותו מומחה האתיקה ד"ר רוברט ספארו, אמור להיות מבצעי כבר ב־2012.
מפחיד? בטח. השאלה היא אם זה מפחיד אותנו כי קראנו יותר מדי מדע בדיוני וראינו את "בלייד ראנר" קצת יותר מדי פעמים, או כי חשבנו ברצינות על ההשלכות של העניין.
ספארו, מרצה לפילוסופיה ולביואתיקה באוניברסיטת מונאש באוסטרליה, הוא אחד המומחים שקוראים לעצור את ההתפתחויות בטכנולוגיה הצבאית. לטענתו, שימוש ברובוטים עם אצבע על ההדק יהיה פשע מלחמה, גם אם לא מאמינים לנבואות הזעם של המדע הבדיוני.
שאלת המוצא שלו פשוטה: מה קורה כשרובוט הורג מישהו שהוא לא היה אמור להרוג? זה יכול לקרות גם בלי באג בתוכנה, הסביר ספארו בשנה שעברה במאמר "רובוטים רצחניים", שפורסם במגזין הבריטי "Journal of Applied Philosophy". הרובוט נדרש לקבל החלטות מורכבות, ולא כל התוצאות ימצאו חן בעינינו. הוא יכול, למשל, להחליט להרוג חיילי אויב שמבקשים להיכנע, פשוט כי אינו פנוי לשים עין על שבויים כרגע. במקרה כזה, מי יועמד לדין על פשע מלחמה? לא המתכנת, שמן הסתם הבהיר לצבא באילו תנאים צריך להשתמש ברובוט כדי למנוע אסון. גם מפקד היחידה הצבאית לא אחראי לפקודה שלא הוא נתן. אם החייל הפשוט, הרובוט עצמו, הוא האשם הבלעדי - ובכן, איך רובוט יכול להיות אחראי מוסרית למעשיו? ובכלל, לך תעניש רובוט.
זה יהיה כמו לתת נשק לילד בן 12, מתריע ספארו. "הרעיון של סוכנים נבונים ללא שום סוג של אחריות מוסרית הוא מה שהופך צבאות של ילדים למחרידים במיוחד", כתב. "כשצבאות ילדים נכנסים לשדה הקרב, כמו באנגולה ובליבריה בשנים האחרונות, אף אחד לא בשליטה. אם נהרגים אזרחים, הם נהרגים ללא היגיון ובלי שאף אחד יהיה אחראי למותם".
הרובוטיקאי ארקין מתנגד להשוואה הזו. יש לו אנלוגיות אחרות, שהרובוטים יוצאים מהן קצת יותר טוב. "שמעתם על המקרה בעיר העיראקית חדיתה, שבו חיילי מארינס אמריקאים הרגו קבוצה של אזרחים חפים מפשע?", הוא אומר. "החיילים הובאו למשפט צבאי, אם כי כולם חמקו מעונש. הם פעלו כנראה מתוך כעס ונקמה. רובוטים לא צריכים לפעול לשם הגנה עצמית, הם לא חשים רגשות כמו נקמה וכעס, הם לא חמי מזג ואני יכול להבטיח לכם שהם לעולם לא יפתחו כוונות לפגוע באזרח. הם יעשו עבודה טובה יותר מחיילים אנושיים בשדה הקרב - אם כי נראה שזה לא קשה".
הממשל בוושינגטון יעדיף מן הסתם להקשיב לארקין, שבמשך כעשרים שנה פיתח רובוטים באקדמיה ובסוני, עד שהחליט לעצור ולבדוק אם הוא בונה משהו שיהרוס את העולם או יעזור לו. את המחקר הנוכחי של ארקין מממן הצבא האמריקאי, שנציגיו התייחסו לעניין ב"הניו יורק טיימס" לפני שבועות אחדים. זה מחקר ארוך טווח, הם הבהירו, ולא חלק מהכנה להשקת כלי נשק ספציפי. "אם ניצור מערכות רובוטיות לפעילויות ממוקדות, דוגמת נטרול צלפים, אני מאמין שנוכל לצמצם את האבידות האזרחיות ואת הנזק לרכוש בהתאם לאמנת ז'נבה", אומר לנו ארקין. "אני רוצה לעצור את המחשבות על צבאות של טרמינייטורים, נחילי רובוטים שמציפים את הגבעות בלי אף בן אדם לרפואה. המערכות הרובוטיות האלה יהיו אורגניות ליחידות הצבאיות: הן יהיו כלים, נכסים, ממש כמו שפעם היו לנו סוסים. יהיו לרובוטים תפקידים משלהם וישתמשו בהם רק בנסיבות ספציפיות".
מה אם צבאות יעדיפו לתכנת את הרובוטים היקרים כך שיגנו על החיילים גם במחיר פגיעה באזרחים?
"גם חיילים מקבלים פקודות כאלה. היתרון של מערכת רובוטית הוא שאם תיתן לה את ההוראות יהיה רישום, ואולי יהיו לנו בתי משפט צבאיים שממש יכולים להרשיע מישהו".
להרשיע את מי? ארקין חושב שדווקא יש פתרון לשאלה הזו: "צריך להכניס את סוגיית האחריות לתוך המערכת מלכתחילה. אנחנו עובדים על פונקציה של יועץ אחריות, שיחייב אנשים שונים בכל הרמות לחתום על כל כלל שמוטמע במערכת. אבל זו אכן בעיה קשה.
"ויש בעיה אחרת: יש אנשים שמודאגים מכך שכלי הנשק האלה יעודדו מדינות להיכנס למלחמה, יהפכו את האצבע לקלה יותר על ההדק, כי החיילים יהיו בסיכון נמוך יותר. אבל זו בעיה אופיינית לכל הטכנולוגיה המודרנית. יש כאלה שטוענים שאם אנחנו כבר נלחמים, אנחנו חייבים להשתמש במפציצים חכמים. אם אנחנו יכולים לנהל קרב בדיוק רב יותר, האם אנחנו לא מחויבים לעשות זאת?".
חרף המרחק שבין עמדותיהם, יש דבר אחד שארקין וספארו מסכימים עליו: זו ההזדמנות שלנו לדון בהשלכות של טכנולוגיה צבאית רגע לפני שהיא קיימת, ולא שלושה רגעים מאוחר מדי, כנהוג. "צריך לדבר על זה עכשיו", אומר ארקין בשכנוע עמוק. "גם אם הדיון יוביל בסופו של דבר לאיסור על מערכות אוטונומיות נושאות נשק בשדה הקרב, כפי שחוקרים אחרים רוצים, אני אהיה שלם עם זה. אני מרגיש אחראי לטכנולוגיה שעזרתי לפתח, ואני רוצה לוודא שהשימוש בה נמצא בגבולות של מה שהאנושות רואה כמוסרי".
מה יקרה כשהאקרים יפעילו את הרובוט שלך נגדך?
הדיון ברובואתיקה נמצא בחיתוליו; כתחום מחקר היא קיימת כחמש שנים בלבד, אבל ועדות רובואתיקה כבר צצות ברחבי העולם. הרשת האירופית למחקר הרובוטיקה (EURON) גיבשה ב־2006 מדריך חלוצי לאתיקה רובוטית, שעוסק במגוון סוגיות - ובהן ביטחון פיזי, חדירה לפרטיות ואפילו סקס - והיא נעזרת במשפטנים, רובוטיקאים, מומחים לבינות מלאכותיות וחוקרים עצמאיים.
דניאל ה. ווילסון, מחבר הספר "איך לשרוד התקוממות רובוטים", הוא מומחה כזה. "אני לא חושב שרובוטים צריכים לקבל זכויות אדם", הוא קובע בפסקנות לגבי אחת הסוגיות הפופולריות במדע הבדיוני. "עם זאת, אני בהחלט חושב שצריך לתת זכויות לרובוטים - לטובת בני האדם. לדוגמה, האם ילד רשאי להתעלל ברובוט־גור? סביר להניח שלא - כי זה יהיה רע לילד, לא כי זה יהיה רע לרובוט.
"יתר על כן, כשרובוטים ייראו וינהגו כבני אדם, באופן טבעי נתייחס אליהם כאל אנשים. מהסיבה הזאת, נראה שהרובוטים צריכים לרשת חלק מהחוקים החברתיים שלנו – כמו לא לדפוק למישהו מכות. צריך לזכור שבני אדם נוטים להאניש כל חפץ בעל מאפיינים אנושיים, וזה נכון כפליים לגבי רובוטים. אנחנו צריכים להיזהר לא להאניש אנדרואידים ברמה כזאת שהם יאבדו את השימושיות שלהם ככלים. יש לעצב רובוטים היטב, ובחירה נכונה של חומרה ותוכנה, כולל כללי התנהגות, אמורה למזער את פוטנציאל התקלות. כהערת אגב, חשוב לציין שהחוקים הללו הם לא אתיים כלל. רובוט שממלא כללים אינו יצור מוסרי".
"אפשר לתכנת רובוטים לעשות כל דבר שאנחנו רוצים שהם יעשו", מסכים דיוויד לוי. "אם אנחנו רוצים שהם ינהגו באופן אתי, פשוט נתכנת אותם לנהוג כך. אין פסול בלתת לרובוטים יכולת לשאול אותנו שאלות - מה שאסור לעשות זה לתת לרובוטים די חופש שיאפשר להם לחשוב שזה בסדר לעשות משהו שלא נאסר במפורש. יהיו סכנות רבות שיתעוררו בעקבות התנהגות של רובוטים, ועורכי דין יצטרכו לתת על זה את הדעת. דוגמה פשוטה: אם אני קונה רובוט והולך איתו ברחוב והוא רואה אותך ומכה אותך, מי אחראי? אני, כבעליו? החנות שמכרה לי אותו? היצרן? המהנדס? חייבים לענות על השאלות הללו כי הן יתעוררו כסוגיות מעשיות"
אתה אופטימי בנוגע לעתיד של בני האדם עם התפתחות הרובוטים?
"אני חושב שאנחנו הולכים בכיוון הנכון, כי רובוטים עומדים לקדם את חיינו בהרבה דרכים. אבל אחת הבעיות העיקריות שמטרידות אותי היא מה יקרה כשהאקרים ואנשים שיוצרים וירוסים למחשבים יתחילו לפגוע בתוכנות של הרובוטים. מה אם אתה קונה רובוט שמתוכנת להיות החבר, השותף או המאהב שלך, ואז מישהו פורץ לתוכנה שלו והרובוט פונה נגדך, מאמלל אותך ואולי פוגע בך פיזית? אני לא יודע מה הפתרון. אני לא יכול לדמיין שהחברה והטכנולוגיה ימצאו דרכים למנוע מאנשים חסרי מצפון אך מוכשרים מלחבל במוח של רובוט - וזה החשש הגדול ביותר שלי".
