מה זה בעצם מודל שפה

הסרטון בשיעור: “איך בינה מלאכותית מבינה טקסט? המדריך המלא לטוקנים במודלי שפה | ד"ר מור גבע”, של TAU Courses ב-YouTube. הוא משלים את השיעור ואינו חובה.

לא מוח חושב, אלא מנוע חיזוי מתקדם

כאשר אתם שואלים מודל שפה שאלה ומקבלים תשובה שוטפת, קל מאוד להניח שבצד השני יושבת ישות שמבינה עניין, חושבת ומגיעה למסקנות. בפועל, המציאות ההנדסית שונה לחלוטין. מודל שפה גדול (LLM) הוא מערכת סטטיסטית מורכבת ביותר, אשר אומנה על כמויות עצומות של טקסטים כדי לבצע משימה עיקרית אחת: לחזות מהי המילה הסבירה ביותר שתופיע בהמשך למילים שנכתבו קודם לכן.

בכל פעם שהמודל פולט מילה (או חלק ממילה, המכונה טוקן), הוא אינו בודק מאגר עובדות כמו מנוע חיפוש רגיל. במקום זאת, הוא מחשב הסתברויות. המשפט נבנה מילה אחר מילה בהתאם לדפוסים לשוניים, תחביריים והקשריים שהוא למד מראש. לכן, כאשר אתם פונים למודל כמו Claude או ChatGPT, הוא אינו מחזיק במושג של "אמת" או "שקר" בעולם האמיתי, אלא רק במושג של "רצף מילים הגיוני ומנוסח היטב".

מדוע המודל נשמע בטוח בעצמו גם כשהוא ממציא?

התופעה שבה מודל ממציא עובדות, נתונים או ציטוטים נקראת הזיה (Hallucination). הסיבה המרכזית להזיה אינה תקלה טכנית רגעית, אלא תכונה מובנית באופן שבו המודל פועל. המודל חונך לספק תשובות שלמות, מנוסחות ומסודרות, המחליקות בדיוק אל תוך התבנית הלשונית המצופה ממנו.

אם תבקשו ממנו פסק דין ישראלי, סעיף חוק או נתון פיננסי שאינם קיימים, המודל אינו "יודע" שהוא חסר מידע. במקום לעצור ולומר "אינני יודע" (אלא אם הונחה לכך במפורש), הוא ישלים את החסר בעזרת מילים שנשמעות משכנעות ומתאימות לסגנון המשפטי או העסקי המבוקש. הניסוח הרהוט והטון הסמכותי נובעים מכך שהמודל למד שכותבים מקצועיים משתמשים בשפה החלטית.

אתה יועץ לעסקים קטנים בישראל. הסבר בקצרה מהם היתרונות של מעבר מעוסק פטור לעוסק מורשה, ציין מתי חובה לבצע את המעבר לפי הנחיות רשות המסים, ואם אינך בטוח במספר המדויק או בהגדרה, ציין זאת במפורש במקום לנחש.

פלט לדוגמה (קצר ומקוצר לשם המחשה):

מעבר לעוסק מורשה מאפשר עבודה מול עסקים גדולים וקיזוז מע"מ על הוצאות ורכישות ציוד. המעבר הופך לחובה כאשר מחזור העסקאות השנתי חוצה את תקרת עוסק פטור (נכון לשנה זו יש לבדוק את התקרה העדכנית המדויקת באתר רשות המסים כדי למנוע חריגה).