מילון מונחי AI
מה זה פרמטרים?
Parameters
המספרים הפנימיים שמודל לומד באימון. מספר הפרמטרים (לרוב במיליארדים) הוא מדד גס לגודל המודל.
הסבר בפשטות
כל משקל בין שני נוירונים הוא פרמטר. מודל "7B" הוא מודל עם כ-7 מיליארד פרמטרים. יחד, הפרמטרים מקודדים את כל מה שהמודל למד.
יותר פרמטרים בדרך כלל אומר יותר יכולת, אבל גם יותר זיכרון, איטיות ועלות. מודלים קטנים ומאומנים היטב עוקפים היום מודלים גדולים ישנים, ולכן מספר הפרמטרים לבד לא אומר הכול.