Emad Mostaque shows a chip 500 times faster than ChatGPT. ðŸ§
3-Second Blueprint (English)
- Taalas HC1 etches Llama 3.1 8B directly into a 6nm die of 53B transistors so the neural network physically becomes the chip.
- Co-locating memory and compute on-die eliminates external RAM data transfers, boosting speed from ~230 to ~17,000 tokens/sec.
- Hardwiring weights into custom silicon trades flexibility for speed: running any updated model requires fabricating a new chip.
Hardwired Model ASICOn-Die Memory-Compute6nm Silicon EtchingLLM Token Throughput
3-Sekunden-Fazit (Deutsch)
- Der Taalas HC1 ätzt Llama 3.1 8B direkt in einen 6-nm-Chip mit 53 Mrd. Transistoren, sodass das Modell selbst zur Hardware wird.
- Speicher und Rechenwerke am selben Ort vermeiden externe RAM-Transfers und steigern den Durchsatz auf bis zu 17.000 Tokens/Sek.
- Fest verdrahtete Gewichte tauschen Flexibilität gegen Tempo: Jedes neue KI-Modell erfordert die Fertigung neuen Siliziums.
Festverdrahteter ASICOn-Die-Speicherarchitektur6-nm-SiliziumfertigungLLM-Token-Durchsatz
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.