Brain-Score 92/100 TECH DataMListic · 7:26

Multi-Head Attention (MHA), Multi-Query Attention (MQA), Grouped Query Attention (GQA) Explained

Multi-Head Attention (MHA), Multi-Query Attention (MQA), Grouped Query Attention (GQA) Explained
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Multi-Head Attention assigns separate Key and Value matrices per query head, creating memory-bandwidth bottlenecks in decoding.
  2. Multi-Query Attention shares one Key and Value head across all queries, cutting TPU per-token latency from 203 µs to 32 µs.
  3. Grouped-Query Attention shares Key-Value heads inside query subgroups, retaining MHA accuracy with near-MQA inference speed.
MHAMQAGQATransformersLLM Inference

3-Sekunden-Fazit (Deutsch)

  1. Multi-Head Attention nutzt eigene Key- und Value-Matrizen je Query-Head, was beim Decoding die Speicherbandbreite belastet.
  2. Multi-Query Attention teilt sich einen einzigen Key- und Value-Head für alle Queries und senkt die Token-Latenz von 203 auf 32 µs.
  3. Grouped-Query Attention bündelt Queries in Untergruppen mit geteilten KV-Heads und vereint MHA-Qualität mit MQA-Tempo.
MHAMQAGQATransformersLLM-Inferenz

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.