Brain-Score 91/100 TECH Machine Learning Studio · 8:14

Variants of Multi-head attention: Multi-query (MQA) and Grouped-query attention (GQA)

Variants of Multi-head attention: Multi-query (MQA) and Grouped-query attention (GQA)
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Standard Multi-Head Attention (MHA) uses separate K and V heads per query, creating a KV-cache memory-bandwidth bottleneck.
  2. Multi-Query Attention (MQA) shares a single K and V head across all query heads, accelerating inference at a slight quality cost.
  3. Grouped-Query Attention (GQA) assigns one K and V head per query subgroup, matching MQA speed while preserving MHA accuracy.
Grouped-Query AttentionMulti-Query AttentionKV CacheTransformer Inference

3-Sekunden-Fazit (Deutsch)

  1. Klassische Multi-Head Attention (MHA) nutzt eigene K/V-Köpfe je Query und erzeugt beim Decoding einen KV-Cache-Bandbreitenengpass.
  2. Multi-Query Attention (MQA) teilt sich einen einzigen K- und V-Kopf für alle Queries, was Inferenz stark beschleunigt.
  3. Grouped-Query Attention (GQA) gruppiert Queries pro K/V-Paar und erreicht MQA-Tempo bei nahezu voller MHA-Modellqualität.
Grouped-Query AttentionMulti-Query AttentionKV-CacheTransformer-Inferenz

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.