מילון מונחי AI
מה זה זיקוק מודלים?
Distillation
אימון של מודל קטן לחקות מודל גדול, כך שהקטן מקבל חלק גדול מהיכולות בעלות נמוכה בהרבה.
הסבר בפשטות
המודל הגדול ("המורה") מייצר תשובות להרבה שאלות, והמודל הקטן ("התלמיד") מתאמן לענות כמוהו. התלמיד לא מגיע לרמה של המורה, אבל יכול להתקרב אליה מאוד במשימות מסוימות, בגודל ובמחיר קטנים פי כמה.
רבים מהמודלים הקטנים והמהירים שחברות מציעות נבנו כך. תנאי השימוש של חלק מהחברות אוסרים להשתמש בתשובות של המודלים שלהן כדי לאמן מודל מתחרה.