RoPE (Rotary positional embeddings) explained: The positional workhorse of modern LLMs
3-Second Blueprint (English)
- Additive sinusoidal positional embeddings distort token vectors and fail to generalize past training sequence lengths.
- RoPE instead multiplies Query and Key vectors by rotation matrices whose angles m·θ scale cleanly with token position m.
- Rotating dimension pairs at varied speeds preserves vector norms and lets modern LLMs extrapolate to longer contexts.
Rotary Positional Embeddings (RoPE)2D Rotation Matrix R(mθ)Query-Key Self-AttentionSequence Length Extrapolation
3-Sekunden-Fazit (Deutsch)
- Additive sinusförmige Positionsembeddings verzerren Token-Vektoren und versagen jenseits der Trainingssequenzlänge.
- RoPE multipliziert Query- und Key-Vektoren stattdessen mit Rotationsmatrizen um den positionsabhängigen Winkel m·θ.
- Das Drehen von Dimensionspaaren mit verschiedenem Tempo erhält die Vektornorm und verbessert die Längenextrapolation.
Rotary Positional Embeddings (RoPE)2D-Rotationsmatrix R(mθ)Query-Key-Self-AttentionSequenzlängen-Extrapolation
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.