מילון מונחי AI
מה זה טוקן?
טוקן וטוקניזציהToken and Tokenization
טוקן הוא יחידת הטקסט הבסיסית שמודל שפה קורא וכותב: מילה, חלק ממילה או סימן. טוקניזציה היא פירוק הטקסט לטוקנים.
הסבר בפשטות
מודלי שפה לא קוראים אותיות או מילים, אלא טוקנים. באנגלית טוקן הוא בערך שלושה רבעים של מילה. בעברית המילים מתפרקות בדרך כלל ליותר טוקנים, ולכן אותו טקסט בעברית "עולה" יותר טוקנים מאשר באנגלית.
למה זה חשוב? כי המחיר של API נקבע לפי טוקנים, וגם חלון ההקשר של המודל נמדד בטוקנים. גם מגבלות מוזרות, כמו קושי לספור אותיות במילה, נובעות מכך שהמודל רואה טוקנים ולא אותיות.