The animated Transformer: the Transformer model explained the fun way!
3-Second Blueprint (English)
- Encoder Transformers attend to tokens bidirectionally, whereas GPT-style decoders mask future tokens for causal prediction.
- Sinusoidal positional encodings assign unique wave-based vectors per rank so nearby words preserve relative proximity.
- Stacked Transformer blocks combine Query-Key-Value self-attention, Layer Normalization, and feed-forward layers.
Transformer ArchitectureCausal vs. Bidirectional AttentionSinusoidal Positional EncodingQuery, Key & Value (QKV)Layer Normalization
3-Sekunden-Fazit (Deutsch)
- Encoder-Transformer beachten Token bidirektional, während GPT-Decoder zukünftige Token für kausale Vorhersagen maskieren.
- Sinusförmige Positionskodierungen erzeugen eindeutige Positionsvektoren, die die räumliche Nähe benachbarter Wörter abbilden.
- Gestapelte Transformer-Blöcke verbinden Query-Key-Value-Self-Attention, Layer Normalization und Feedforward-Netze.
Transformer-ArchitekturKausale vs. bidirektionale AttentionSinus-PositionskodierungQuery, Key & Value (QKV)Layer Normalization
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.