Brain-Score 94/100 TECH Mechanistic Interpretability · 18:00

1L Attention - Theory [rough early thoughts]

1L Attention - Theory [rough early thoughts]
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Kronecker tensor products express per-position weight matrices and cross-position attention routing in a single linear algebraic equation.
  2. Output logits decompose into the direct bigram path (WU*WE) plus a sum of independent attention-head path terms.
  3. Each head splits into a QK circuit deciding which token to attend to and an OV circuit (WU*WO*WV*WE) shifting output logits.
1L Attention TransformerTensor ProductOV CircuitQK Circuit

3-Sekunden-Fazit (Deutsch)

  1. Tensorprodukte fassen positionsweise Matrixmultiplikationen und positionsübergreifendes Attention-Routing in einer Gleichung zusammen.
  2. Die Ausgangs-Logits zerfallen exakt in den direkten Bigramm-Pfad (WU*WE) plus eine Summe unabhängiger Attention-Head-Terme.
  3. Jeder Kopf trennt einen QK-Schaltkreis für das Ziel-Token von einem OV-Schaltkreis (WU*WO*WV*WE) für die Logit-Änderung.
1L-Attention-TransformerTensorproduktOV-SchaltkreisQK-Schaltkreis

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.