Brain-Score 95/100 TECH Julia Turc · 24:38

The myth of 1-bit LLMs | Quantization-Aware Training

The myth of 1-bit LLMs | Quantization-Aware Training
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. BitNet b1.58 encodes ternary weights {-1, 0, +1} (~1.58 bits), turning matrix multiplications into fast integer adds and subtracts.
  2. BitLinear layers quantize activations to int8 on entry and dequantize to FP16 on exit via Quantization-Aware Training with STE.
  3. Because CPUs/GPUs lack native 1.58-bit types, implementations bit-pack four 2-bit weights per uint8 or use lookup tables.
BitNet b1.58Quantization-Aware TrainingBitLinear LayerStraight-Through EstimatorSub-Byte Bit Packing

3-Sekunden-Fazit (Deutsch)

  1. BitNet b1.58 nutzt ternäre Gewichte {-1, 0, +1} (~1,58 Bit) und ersetzt Matrixmultiplikationen durch schnelle Additionen.
  2. BitLinear-Schichten quantisieren Aktivierungen auf int8, rechnen ternär und trainieren per QAT mit Straight-Through Estimator.
  3. Da Hardware keine 1,58-Bit-Typen besitzt, werden vier 2-Bit-Gewichte per Bit-Packing in ein uint8 gepackt oder per LUT codiert.
BitNet b1.58Quantization-Aware TrainingBitLinear-SchichtStraight-Through EstimatorBit-Packing

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.