Stanford CS25: V1 I Transformers United: DL Models that have revolutionized NLP, CV, RL
3-Second Blueprint (English)
- Attention mechanisms evolved from global and local sliding-window weighting into parallelizable multi-head self-attention over tokens.
- Transformer encoder blocks stack linear self-attention with nonlinear feed-forward networks, layer normalization, and residual paths.
- Large-scale pretraining followed by task fine-tuning extended Transformers from NLP into vision, reinforcement learning, and AlphaFold2.
Transformer ModelsMulti-Head AttentionEncoder-DecoderPretraining
3-Sekunden-Fazit (Deutsch)
- Attention-Mechanismen entwickelten sich von globalen und lokalen Fenstern zur parallelisierbaren Multi-Head-Self-Attention über Sequenzen.
- Encoder-Blöcke kombinieren lineare Self-Attention mit nichtlinearen Feed-Forward-Netzen, Layer-Normalisierung und Residualverbindungen.
- Vortraining auf großen Datenmengen samt Fine-Tuning übertrug Transformer von NLP auf Computer Vision, RL und Proteinfaltung (AlphaFold2).
Transformer-ArchitekturMulti-Head-AttentionEncoder-DecoderPretraining
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.