Brain-Score 94/100 TECH AI Safety 東京 · 28:49

Hoagy Cunningham — Finding distributed features in LLMs with sparse autoencoders [TAIS 2024]

Hoagy Cunningham — Finding distributed features in LLMs with sparse autoencoders [TAIS 2024]
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Because individual transformer neurons encode multiple concepts, directions in activation space are the true unit of LLM analysis.
  2. Sparse Autoencoders map residual-stream vectors into a much wider, sparse ReLU feature dictionary trained with reconstruction MSE.
  3. Tracing SAE features across layers reveals multi-step circuits, such as detecting open brackets to predict closing brackets.
Sparse Autoencoders (SAEs)Mechanistic InterpretabilityResidual Stream AnalysisFeature Circuits

3-Sekunden-Fazit (Deutsch)

  1. Da einzelne Transformer-Neuronen überlagerte Konzepte speichern, sind Richtungen im Aktivierungsraum der Schlüssel zur Analyse.
  2. Sparse Autoencoder projizieren Residual-Stream-Vektoren über ReLU in einen viel breiteren, dünn besetzten Merkmalsraum.
  3. Das Verfolgen dieser SAE-Features über Schichten zeigt Schaltkreise, etwa vom Erkennen offener zur Vorhersage schließender Klammern.
Sparse Autoencoder (SAE)Mechanistische AnalyseResidual-Stream-VektorenFeature-Schaltkreise

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.