Superposition in neural networks | Dario Amodei and Lex Fridman
3-Second Blueprint (English)
- If neural networks only stored orthogonal directions, an embedding space could represent no more concepts than its dimensions.
- Via compressed sensing mathematics, high-dimensional sparse vectors can project into lower dimensions without losing structure.
- Gradient descent packs exponentially many almost-orthogonal sparse circuits into dense weights using feature co-occurrence.
Superposition HypothesisCompressed SensingMechanistic InterpretabilitySparse Representations
3-Sekunden-Fazit (Deutsch)
- Wären alle Merkmalsrichtungen streng orthogonal, könnte ein Netz maximal so viele Konzepte speichern wie es Dimensionen hat.
- Dank Compressed Sensing lassen sich hochdimensionale, dünnbesetzte Vektoren verlustarm in niedrigere Dimensionen projizieren.
- Gradientenabstieg packt exponentiell viele fast-orthogonale spärliche Schaltkreise effizient in dichte Netzwerkgewichte.
Superpositions-HypotheseCompressed SensingInterpretierbarkeitSpärliche Vektoren
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.