Cross Attention vs Self Attention
3-Second Blueprint (English)
- Attention projects tokens into Query (search target), Key (index descriptor), and Value (payload) vectors.
- Self-attention derives Q, K, and V from the same input sequence so tokens capture intra-sequence context.
- Cross-attention generates Queries from target decoder tokens while pulling Keys and Values from source encoder tokens.
Self-AttentionCross-AttentionQuery-Key-Value (QKV)Seq2Seq Transformers
3-Sekunden-Fazit (Deutsch)
- Attention projiziert Tokens in Query- (Suchziel), Key- (Merkmalsindex) und Value-Vektoren (Inhaltswert).
- Bei Self-Attention stammen Q, K und V aus derselben Sequenz, um den internen Kontext der Wörter zu erfassen.
- Cross-Attention bildet Queries aus Ziel-Tokens des Decoders, bezieht Keys und Values aber aus der Quellsequenz.
Self-AttentionCross-AttentionQuery-Key-Value (QKV)Seq2Seq-Transformer
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.