Brain-Score 95/100 TECH Google for Developers · 7:24

Demo: Gemma Scope: Sparse autoencoders on Gemma 2

Demo: Gemma Scope: Sparse autoencoders on Gemma 2
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Sparse autoencoders map dense LLM activations into higher-dimensional spaces where sparse active features isolate interpretable concepts.
  2. Gemma Scope trains over 400 unsupervised SAEs across every layer of Gemma 2 2B and 9B using JumpReLU and straight-through estimators.
  3. Open weights on Hugging Face and SAELens let developers trace internal reasoning circuits, steer model outputs, and study jailbreaks.
Sparse AutoencodersGemma ScopeJumpReLUSAELens

3-Sekunden-Fazit (Deutsch)

  1. Sparse Autoencoder bilden dichte LLM-Aktivierungen in höherdimensionale Räume ab, um menschenlesbare Konzepte spärlich zu isolieren.
  2. Gemma Scope trainiert über 400 unüberwachte SAEs auf allen Schichten von Gemma 2 2B und 9B mittels JumpReLU und Straight-Through-Schätzern.
  3. Offene Gewichte auf Hugging Face und SAELens helfen, Denkpfade zu entschlüsseln, Modelle zu steuern und Jailbreaks zu untersuchen.
Sparse AutoencoderGemma ScopeJumpReLUSAELens

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.