Attention Mechanism Explained #machinelearning #transformers #deeplearning #datascience #nlp
3-Second Blueprint (English)
- Each input token is projected into Query, Key, and Value embedding vectors via learned linear matrix multiplications.
- Dot products of a token's Query with all Keys are scaled by the square root of key dimension and normalized via softmax.
- Summing Value vectors weighted by these softmax probabilities yields a contextualized embedding for every sequence token.
Scaled Dot-Product AttentionQuery-Key-Value VectorsSoftmax NormalizationTransformer Embeddings
3-Sekunden-Fazit (Deutsch)
- Jedes Eingabe-Token wird per Matrixmultiplikation in Query-, Key- und Value-Einbettungsvektoren projiziert.
- Skalarprodukte aus Query und allen Keys werden durch die Wurzel der Key-Dimension geteilt und per Softmax-Funktion normiert.
- Die gewichtete Summe aller Value-Vektoren liefert schließlich für jedes Token im Satz eine kontextualisierte Repräsentation.
Dot-Product-AttentionQuery-Key-Value-VektorenSoftmax-NormierungTransformer-Embeddings
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.