Brain-Score 92/100 TECH AAIF Live · 30:27

Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral

Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Shows how model weights and KV cache memory limit max batch size, governing LLM serving efficiency.
  2. Grouped-Query Attention in Mistral 7B shares 1 KV head per 4 queries, cutting KV cache memory 4x at equal FLOPs.
  3. Maps the latency-throughput Pareto curve from memory-bound small batches to compute-bound high batch regimes.
Grouped-Query AttentionKV CacheMistral 7BLatency-Throughput Pareto

3-Sekunden-Fazit (Deutsch)

  1. Zeigt, wie Modellgewichte und KV-Cache-Speicher die maximale Batch-Größe und Inferenz-Effizienz begrenzen.
  2. Grouped-Query Attention teilt 1 KV-Paar auf 4 Queries und senkt den KV-Cache-Bedarf bei gleichen FLOPs um 75 %.
  3. Analysiert die Latenz-Durchsatz-Kurve vom speicherlimitierten Klein-Batch- bis zum FLOPs-limitierten Regime.
Grouped-Query AttentionKV-CacheMistral 7BLatenz-Durchsatz-Kurve

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.