Why masked Self Attention in the Decoder but not the Encoder in Transformer Neural Network?
3-Second Blueprint (English)
- Transformer encoders process all input tokens in parallel, allowing bidirectional self-attention across past and future context.
- Autoregressive decoders generate one token at a time at inference, where future output tokens do not yet exist.
- Causal masking hides subsequent tokens during parallelized decoder training to prevent data leakage and match inference causality.
Transformer ArchitectureMasked Self-AttentionCausal MaskingAutoregressive Decoding
3-Sekunden-Fazit (Deutsch)
- Transformer-Encoder verarbeiten alle Eingabetoken parallel und nutzen bidirektionale Self-Attention über den gesamten Kontext.
- Autoregressive Decoder erzeugen bei der Inferenz Wort für Wort, sodass zukünftige Ausgabetoken noch nicht existieren.
- Kausale Maskierung blendet spätere Token im Training aus, um Datenlecks zu verhindern und Inferenzbedingungen abzubilden.
Transformer-ArchitekturMasked Self-AttentionKausale MaskierungAutoregressiver Decoder
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.