מילון מונחי AI
מה זה היפר-פרמטר?
Hyperparameter
הגדרה שקובעים לפני האימון ומשפיעה על אופן הלמידה, כמו קצב הלמידה או מספר האפוקים. בניגוד לפרמטרים, המודל לא לומד אותה בעצמו.
הסבר בפשטות
פרמטרים (משקלות) הם מה שהמודל לומד. היפר-פרמטרים הם ההגדרות של תהליך הלמידה: קצב למידה, גודל batch, מספר שכבות, מספר אפוקים. בחירה לא נכונה יכולה להפוך מודל טוב למודל שלא לומד בכלל.
מוצאים ערכים טובים בניסוי וטעייה, או בחיפוש אוטומטי שמאמן כמה גרסאות ובוחר את הטובה. גם בשימוש יומיומי יש "היפר-פרמטרים" של יצירה, כמו טמפרטורה, אבל אלה הגדרות של הרצה ולא של אימון.