עושה בושות: GPT-4 נכשל במבחן הסמכה למקצוע אנליסט פיננסי
עושה בושות: GPT-4 נכשל במבחן הסמכה למקצוע אנליסט פיננסי
הצ'טבוט המשודרג של חברת הבינה המלאכותית OpenAI השיב נכונה רק ל-33% מהשאלות במבחן הרשמי של מכון CFA אף על פי שהתשובות זמינות ברשת. כלומר, הוא עדיין לא מהווה איום גדול מדי על כוח האדם האנושי, לפחות בתחום זה
חברת הבינה המלאכותית OpenAI השיקה את הגרסה החדשה של הצ'טבוט הפופולרי שלה GPT-4 ועוררה מחדש את החשש לפגיעה בשוק העבודה. החששות מפני איבוד משרות לטובת הבינה המלאכותית גבוהים במיוחד בסקטור הפיננסי, בו תפקידים רבים הדורשים יכולות עיבוד מידע מהירות.
בשל כך, בפייננשל טיימס בחנו האם ChatGPT יכול לעבור את מבחן ההסמכה למקצוע אנליסט פיננסי של מכון CFA. המבחן זמין בשלב זה רק לבני אדם ועולה 1,200 דולר ועוד 350 דולר דמי רישום, כך שאם מודל הבינה המלאכותית יוכל לעבור את המבחן הנחשב לאחד הקשים בעולם הפיננסי, הדבר יביא לפגיעה מהותית במודל ההכנסות של המכון.
לפני הצ'טבוט הוצג מבחן לדוגמה שהורד מהאתר של CFA, ובו הוא קיבל ציון של 8 מתוך 24. התוצאות היו זהות הן בגרסה החדשה GPT-4, שאמורה להיות משופרת, והן בגרסה הקודמת. לפי הפייננשל טיימס, הדרך להצליח במבחן ההסמכה היא לבצע התאמת דגמים (Pattern Match) סביב החומר ששונן עבור המבחן - זאת, בעוד ש-ChatGPT מנסה לעבד את המשמעות שעולה מכל שאלה בנפרד.
התוצאה של האסטרטגיה הכושלת הזו היא ציון של 33%, כשכדי לעבור יש צורך בציון של 70%. התשובות הנכונות זמינות בחינם באתר של CFA, כך ששימוש במנוע חיפוש פשוט היה מביא ציון גבוה יותר במבחן.
