מה זה חלון הקשר?

הסבר בפשטות

כל מה שהמודל יודע על השיחה הנוכחית חייב להיכנס לחלון ההקשר. מודלים מובילים תומכים היום במאות אלפי טוקנים ויותר, כלומר ספר שלם או מאגר קוד גדול. כשהשיחה ארוכה מהחלון, החלק הישן נחתך או מסוכם.

חלון גדול לא אומר שהמודל משתמש בכל המידע באותה איכות: פרטים באמצע טקסט ארוך מאוד נוטים להתפספס. לכן, גם עם חלון גדול, כדאי לשים את החשוב בהתחלה או בסוף, ולצרף רק את מה שרלוונטי.