What is Positional Encoding in Transformer?
3-Second Blueprint (English)
- Embedding spaces map words to static numerical vectors where semantically similar terms cluster together, but lack sentence word order.
- Because identical words shift meaning depending on placement, Transformers generate positional encoding vectors capturing word distances.
- Adding sine and cosine positional vectors directly to input word embeddings equips Transformer tokens with sequence-order context.
Positional EncodingSinusoidal FunctionsWord Embedding SpaceTransformer Context
3-Sekunden-Fazit (Deutsch)
- Embedding-Räume bilden Wörter auf statische Vektoren ähnlicher Bedeutung ab, enthalten allein jedoch keinerlei Information zur Wortfolge.
- Da gleiche Wörter je nach Satzstellung ihre Bedeutung ändern, erzeugen Transformer Positionsvektoren für Wortabstände im Satz.
- Die Addition von Sinus- und Kosinus-Positionsvektoren auf die Eingabe-Embeddings verleiht jedem Token präzisen Sequenzkontext.
Positional EncodingSinus-Kosinus-VektorenWort-Embedding-RaumTransformer-Kontext
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.