Brain-Score 78/100 TECH LearnThatStack · 4:57

DeepSeek open sourced its engine... except the parts that run it

DeepSeek open sourced its engine... except the parts that run it
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. DeepInfer open-sources offline vLLM-based execution for DeepSeek V4.1 Flash but omits persistent KV caching and load balancing.
  2. Without cross-request KV caching (890 bytes/token), repeated prompts recompute from scratch across prefill and decode GPUs.
  3. Batching 256 requests per rank on Nvidia SM100 GPUs hits 26,000 tokens/s per GPU while capping each user near 100 tokens/s.
Prefill/decode disaggregationDistributed KV cacheNvidia SM100 (B200/GB200)Throughput vs user latencyvLLM inference engine

3-Sekunden-Fazit (Deutsch)

  1. DeepInfer veröffentlicht eine vLLM-basierte Offline-Engine für DeepSeek V4.1 Flash ohne KV-Cache-System und Load-Balancing.
  2. Ohne persistenten KV-Cache (890 Byte/Token) berechnen Prefill- und Decode-GPUs identische Prompts bei jeder Anfrage neu.
  3. 256 parallele Anfragen pro Rank auf Nvidia-SM100-GPUs liefern 26.000 Tokens/s pro GPU, aber nur rund 100 Tokens/s je Nutzer.
Prefill-Decode-TrennungVerteilter KV-CacheNvidia SM100 (B200/GB200)Durchsatz vs. NutzerlatenzvLLM-Inferenz-Engine

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.