מילון מונחי AI
מה זה הסקה (הרצת מודל)?
Inference
השלב שבו מודל מאומן מקבל קלט חדש ומפיק תשובה. כל פעם ששולחים הודעה לצ'אטבוט, מתבצעת הסקה.
הסבר בפשטות
לחיי מודל יש שני שלבים: אימון (פעם אחת, יקר מאוד) והסקה (כל פעם שמשתמשים בו). בהסקה המשקלות קבועים, והמודל רק מחשב תשובה לקלט שקיבל.
העלות של הסקה נמדדת בדרך כלל בטוקנים, והמהירות בטוקנים לשנייה. מודלים גדולים או מודלי חשיבה איטיים ויקרים יותר בהסקה. לכן מוצרים רבים משתמשים במודל קטן למשימות פשוטות ובמודל גדול רק כשצריך.