חוקרים ישראלים חשפו קמפיין שמרעיל תשובות AI ומפנה למוקדי שירות מזויפים

חוקרי סייבר ישראלים חשפו קמפיין הרעלת בינה מלאכותית רחב היקף, שמוביל תשובות של ChatGPT, ג'מיני ו-Google AI Overview למספרי שירות לקוחות, כתובות מייל ודפי התחברות מזויפים אצל לקוחות 374 מותגים וחברות, ובהם בנקים, חברות תעופה ופלטפורמות תיירות.

לפי המחקר, מדובר במתקפות שמטרתן להוביל משתמשים שפונים למנועי בינה מלאכותית למספרי טלפון, כתובות מייל, דפי התחברות ועדכוני תוכנה מזויפים. דן לסקר, חוקר חולשות סייבר ושותף במחקר, אמר כי "כשמספר טלפון מוגש להם כעובדה ישירות מתוך מנוע ה-AI וחוזר על עצמו בכמה מקורות, הוא נתפס כאמין לחלוטין". לדבריו, החברות משקיעות מיליארדים בהגנה על השרתים שלהן מפני פריצות, אך התופעה מוכיחה שזה כבר לא מספיק.

את המחקר הובילו דן לסקר, אריאל סימון ונאור חזיז, יוצאי יחידות מודיעין מסווגות המתגוררים כיום בניו יורק, והבדיקה התמקדה בשאילתות באנגלית. לפי הדיווח, התוקפים מציפים את הרשת בפוסטים, קובצי PDF, אתרים, תמונות וביקורות מזויפים שנכתבים כך שמנועי הבינה המלאכותית יטו לצטט אותם, ובונים את התכנים סביב מצבי לחץ כמו ביטול טיסה, החזר כספי או חשבון בנק נעול, כדי לגרום למשתמש להתקשר למספר המזויף במקום לבדוק באתר הרשמי. לפי נתון מ-Exploding Topics שמובא במחקר, 92% מהמשתמשים כלל לא מאמתים תשובות שמתקבלות ממנועי AI.

החוקרים פיתחו מערכת שבדקה תשובות של ג'מיני, ChatGPT ו-Google AI Overview ואת המקורות שעליהן הן נשענות, וסימנה כמקרה תקיפה מצב שבו פרט שגוי כמו מספר טלפון, כתובת URL או כתובת מייל הופיע בתשובת AI והסתמך על מקור שנראה מיועד לדחוף דיסאינפורמציה. לפי הדיווח, נמצאו עשרות אלפי דפים זדוניים, ורוב התוצאות היו סטטיסטיות ולא שוחזרו בכל הרצה של אותה שאילתה. בין החברות שנפגעו לפי המחקר: דלתא, לופטהנזה, יונייטד איירליינס, אמירייטס, קטאר איירווייז, אמריקן איירליינס, Airbnb, TripAdvisor, Chase, Citi, Wells Fargo ו-Bank of America.

לפי הדיווח, הפרסומים הזדוניים הוטמעו באינסטגרם, Tumblr, BuzzFeed, LeetCode, תיאורי וידאו ביוטיוב וב-Vimeo, Medium, אתרי ממשלה, אוניברסיטאות, Google Sites, GitHub Pages, WordPress, Blogspot, אתרי גיוס תרומות, אתרי חיפוש עבודה ואתרי אירועים, וכן ב-Yelp, Apple Maps ובאתרים של קרנות כמו Mental Health Foundation הניו-זילנדית ו-National Foundation for Cancer Research. החוקרים תיארו כתיבת מספרי טלפון בכמה צורות שונות, עם רווחים, נקודות, אמוג'ים או מילים בין הספרות, כדי שמסנני ספאם יפספסו את המספר בעוד מנוע ה-AI עדיין מבין אותו כמספר טלפון.

הקמפיינים מבוצעים לפי הדיווח באופן אוטומטי לחלוטין, באותן תבניות ומספרי טלפון, בקצב של אלפי פוסטים ביום; הסרה נקודתית לא תמיד מועילה, שכן עמודים שנמחקו נשמרים בארכיונים וממשיכים להיות מאונדקסים. רוב החברות שפנו אליהן החוקרים השיבו כי הטיפול אינו באחריותן, משום שהמערכות הפנימיות שלהן לא נפרצו. גוגל השיבה כי דיווחים על מידע מטעה שנוצר בידי AI נמצאים מחוץ לתוכנית חשיפת החולשות שלה, ו-OpenAI סגרה את הדיווח בטענה שלא ניתן לשחזר את הממצאים באופן עקבי. החוקרים פיתחו מנגנון להחזרת מידע מאומת לתשובות ה-AI, שאותו הם מקדמים כעת בסטארטאפ שהקימו.