מילון מונחי AI
מה זה Mixture of Experts?
תערובת מומחיםMixture of Experts (MoE)
ארכיטקטורה שבה המודל מורכב מהרבה "מומחים" קטנים, ולכל טוקן מופעלים רק כמה מהם. כך מודל ענק רץ במחיר של מודל קטן.
הסבר בפשטות
במודל רגיל, כל הפרמטרים עובדים על כל טוקן. במודל MoE יש רכיב ניתוב שבוחר לכל טוקן את המומחים המתאימים, למשל 2 מתוך 64. המודל כולו גדול ומכיל הרבה ידע, אבל כל חישוב זול יחסית.
הרבה מהמודלים המובילים, כולל מודלים פתוחים כמו Mixtral ו-DeepSeek, משתמשים בגישה הזו. החיסרון: צריך הרבה זיכרון כדי לטעון את כל המומחים, גם אם רק חלק קטן מהם עובד בכל רגע.