Brain-Score 94/100 TECH Outlier · 20:25

Rotary Positional Embeddings Explained | Transformer

Rotary Positional Embeddings Explained | Transformer
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Because linear and self-attention layers are permutation-invariant, Transformers need explicit positional signals to order tokens.
  2. RoPE splits each head's embedding channels into 2D pairs and applies position-scaled 2×2 rotation matrices to Query and Key vectors.
  3. Dot-product attention then naturally captures relative token distance and generalizes cleanly to 2D image grids and 3D video tensors.
Rotary Positional Embedding2D Rotation MatricesMulti-Head Q/K Attention2D/3D Spatiotemporal RoPE

3-Sekunden-Fazit (Deutsch)

  1. Da lineare Schichten und Self-Attention positionsblind sind, benötigen Transformer explizite Positionsinformationen für Sequenzen.
  2. RoPE teilt die Kanäle jedes Attention-Heads in 2D-Paare und wendet positionsabhängige 2×2-Rotationsmatrizen auf Query- und Key-Vektoren an.
  3. Das Skalarprodukt kodiert dadurch direkt relative Token-Abstände und lässt sich nahtlos auf 2D-Bildraster und 3D-Videos erweitern.
Rotary Positional Embedding2D-RotationsmatrizenMulti-Head-Attention2D/3D-Raumzeit-RoPE

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.