מילון מונחי AI
מה זה מנגנון קשב?
Attention Mechanism
טכניקה ברשתות נוירונים שמאפשרת למודל להתמקד בחלקים הרלוונטיים ביותר של הקלט. זה הבסיס של ארכיטקטורת הטרנספורמר.
הסבר בפשטות
כשאנחנו קוראים משפט, אנחנו מבינים כל מילה לפי המילים שסביבה. מנגנון הקשב עושה משהו דומה: לכל מילה (טוקן), המודל מחשב כמה "לשים לב" לכל אחת מהמילים האחרות, וכך בונה הבנה של ההקשר.
גרסה שנקראת Self-Attention היא הלב של הטרנספורמר, והיא מה שאיפשר למודלי שפה לעבד טקסטים ארוכים במקביל ובמהירות. המחיר הוא חישוב שגדל מהר ככל שהטקסט ארוך יותר, ולכן לחלון ההקשר של כל מודל יש גבול.