The math behind Attention: Keys, Queries, and Values matrices
3-Second Blueprint (English)
- Transformer attention maps words to multi-dimensional vectors and measures contextual similarity using dot products or cosine similarity.
- Scaled dot-product attention divides scores by the square root of vector length to keep numbers small and numerically well-behaved.
- Keys, Queries, and Values matrices apply learned linear transformations that project embeddings into richer spaces for multi-head context.
Keys, Queries & ValuesScaled dot-productCosine similarityWord embeddingsMulti-head attention
3-Sekunden-Fazit (Deutsch)
- Transformer-Attention stellt Wörter als mehrdimensionale Vektoren dar und misst Ähnlichkeit per Skalarprodukt oder Kosinus-Ähnlichkeit.
- Scaled Dot-Product Attention teilt Werte durch die Quadratwurzel der Vektorlänge, um große Zahlenbereiche zu begrenzen.
- Keys-, Queries- und Values-Matrizen bewirken lineare Transformationen, die Embeddings für Multi-Head-Kontext gezielt projizieren.
Keys-, Queries- & Values-MatrizenScaled Dot-ProductKosinus-ÄhnlichkeitWord EmbeddingsMulti-Head Attention
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.