מילון מונחי AI
מה זה כימות (קוונטיזציה)?
Quantization
הקטנת מודל על ידי שמירת המשקלות שלו בדיוק נמוך יותר, כך שהוא תופס פחות זיכרון ורץ מהר יותר, עם פגיעה קטנה באיכות.
הסבר בפשטות
במקור, כל משקל נשמר כמספר עם הרבה ספרות אחרי הנקודה. בכימות מעגלים אותם לדיוק נמוך יותר, למשל 8 או 4 ביט. מודל שדרש 32 גיגה זיכרון יכול לרדת לפחות מ-8.
בזכות כימות אפשר להריץ מודלים פתוחים על מחשב נייד או טלפון. כימות חזק מדי פוגע באיכות, בעיקר במשימות מורכבות ובשפות קטנות כמו עברית, ולכן כדאי לבדוק.