מה זה התפשטות לאחור?

הסבר בפשטות

בכל שלב של אימון, הרשת מקבלת דוגמה, מנחשת תשובה, ומשווים את הניחוש לתשובה הנכונה. Backpropagation מחשב, לכל משקל ברשת, כמה הוא "אשם" בטעות, ובאיזה כיוון כדאי לשנות אותו.

אחרי החישוב, אלגוריתם אופטימיזציה כמו Gradient Descent מזיז את המשקלות צעד קטן בכיוון הנכון. חוזרים על זה מיליוני פעמים, וכך הרשת משתפרת בהדרגה.