מה זה ירידת גרדיאנט?

הסבר בפשטות

דמיינו שאתם על הר בערפל ורוצים לרדת לעמק. אתם לא רואים את העמק, אבל מרגישים לאן הקרקע משתפלת, וצועדים צעד קטן בכיוון הזה. ירידת גרדיאנט עושה בדיוק את זה, רק שה"הר" הוא פונקציית השגיאה של המודל.

גודל הצעד נקרא קצב למידה (learning rate), והוא היפר-פרמטר חשוב: צעד גדול מדי מפספס את העמק, צעד קטן מדי לוקח נצח. רוב האימונים משתמשים בגרסאות משופרות כמו Adam.