How positional encoding works in transformers?
3-Second Blueprint (English)
- Attention blocks ignore token order unless positions are encoded uniquely, deterministically, and across variable sequence lengths.
- Adding multi-frequency sine and cosine vectors directly to embeddings preserves vector width without the extra compute of concatenation.
- Trigonometric addition laws let position t+delta be represented as a constant linear matrix transformation applied to position t.
Sinusoidal EncodingLinear Matrix TransformToken EmbeddingsRelative Token Distance
3-Sekunden-Fazit (Deutsch)
- Attention-Blöcke sind ohne eindeutige, deterministische und längenunabhängige Positionswerte blind für die Reihenfolge der Tokens.
- Das direkte Addieren mehrfrequenter Sinus- und Kosinusvektoren auf Embeddings spart Rechenaufwand gegenüber einer Vektor-Verkettung.
- Dank trigonometrischer Additionstheoreme lässt sich Position t+Delta als konstante lineare Matrixtransformation aus Position t bilden.
Sinus-PositionskodierungLineare MatrixabbildungToken-EmbeddingsRelativer Token-Abstand
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.