A Visual Tour of Modern LLM Architectures
3-Second Blueprint (English)
- Standard multi-head attention grows KV-cache memory rapidly with context length, creating a severe memory bottleneck during LLM inference.
- Grouped-Query Attention shares key and value projections across multiple query heads to shrink KV-cache footprint with minimal quality loss.
- Modern models balance GQA, Multi-Head Latent Attention, and sparse or hybrid linear attention according to parameter scale and training cost.
KV-Cache CompressionGrouped-Query AttentionMulti-Head Latent AttnSparse Attention
3-Sekunden-Fazit (Deutsch)
- Klassische Multi-Head-Attention lässt den KV-Cache bei langen Kontexten stark anwachsen und bremst dadurch die LLM-Inferenz im Speicher.
- Grouped-Query Attention teilt Schlüssel- und Wertprojektionen über mehrere Query-Köpfe, um den KV-Cache-Speicherbedarf deutlich zu senken.
- Moderne Sprachmodelle kombinieren GQA, Multi-Head Latent Attention und hybride Aufmerksamkeit je nach Modellgröße und Trainingsaufwand.
KV-Cache-KompressionGrouped-Query AttentionLatente AufmerksamkeitSparse Attention
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.