מה זה אימון מודל?

הסבר בפשטות

אימון הוא לולאה: המודל מקבל דוגמה, מנבא, משווים לתשובה הנכונה, ומתקנים את המשקלות (בעזרת backpropagation וירידת גרדיאנט). אחרי מיליוני חזרות, המודל מתחיל לנבא טוב גם על דוגמאות שלא ראה.

במודלי שפה יש כמה שלבים: אימון מקדים (pre-training) על כמות עצומה של טקסט, ואז כוונון להוראות ו-RLHF כדי שהמודל יהיה מועיל ובטוח בשיחה. אימון מודל גדול לוקח חודשים ודורש אלפי מעבדים גרפיים.