מה זה טרנספורמר?

הסבר בפשטות

המאמר "Attention Is All You Need" הציג דרך חדשה לעבד טקסט: במקום לקרוא מילה אחרי מילה, הטרנספורמר מסתכל על כל המילים בבת אחת ומחשב את הקשרים ביניהן במקביל. זה איפשר לאמן מודלים גדולים הרבה יותר, מהר הרבה יותר.

ה-T ב-GPT היא Transformer. גם Claude, Gemini, Llama, מודלי תרגום ורבים ממודלי התמונה והווידאו מבוססים עליו או על גרסאות שלו.