Self-Attention Explained: How Transformers Actually Work (Full Visual Breakdown)
3-Second Blueprint (English)
- Sequential RNNs lose distant context across long sentences, whereas self-attention links all tokens simultaneously in parallel.
- Multiplying Query and transposed Key matrices yields pairwise relevance scores normalized via scaling and softmax into weights.
- Computing an attention-weighted sum of Value vectors injects full sentence context into every token, extended by multi-head lenses.
Self-Attention MechanismQuery-Key-Value MatricesScaled Dot-ProductMulti-Head Attention
3-Sekunden-Fazit (Deutsch)
- Während sequenzielle RNNs weit entfernten Kontext verlieren, verknüpft Self-Attention alle Wörter eines Satzes gleichzeitig parallel.
- Das Produkt aus Query- und transponierter Key-Matrix liefert Ähnlichkeitswerte, die per Skalierung und Softmax zu Gewichten werden.
- Eine gewichtete Summe der Value-Vektoren reichert jedes Token mit Satzkontext an, während Multi-Head-Attention Mehrdeutigkeit löst.
Self-Attention-MechanismusQuery-Key-Value-MatrizenSkaliertes SkalarproduktMulti-Head-Attention
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.