טוקן
טוקן (token) הוא יחידת הטקסט הבסיסית שמודל AI מעבד — בערך מילה או חלק ממילה. המודל קורא וכותב בטוקנים, חלון ההקשר נמדד בטוקנים, והתמחור לרוב לפי טוקנים. כאלף טוקנים ≈ 750 מילים באנגלית (פחות בעברית).
עברית צורכת יותר טוקנים מאנגלית כי ה-tokenizer אומן בעיקר על אנגלית ומפרק מילים בעברית ליחידות קטנות יותר — ולכן אותו טקסט 'עולה' יותר מול חלון הקשר מוגבל.