Brain-Score 90/100 TECH Mechanistic Interpretability · 3:01

0L - Theory [rough early thoughts]

0L - Theory [rough early thoughts]
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. A zero-layer transformer maps a one-hot token through embedding WE and unembedding WU directly into next-token logits.
  2. Because embedding dimension is smaller than vocabulary size, the product WU*WE forms a low-rank approximation of bigram log-likelihoods.
  3. Every full-scale residual-stream transformer retains this exact WU*WE direct path term to model baseline token transitions.
Zero-Layer TransformerToken Embedding (WE)Unembedding Matrix (WU)Bigram Log-Likelihood

3-Sekunden-Fazit (Deutsch)

  1. Ein Zero-Layer-Transformer bildet ein One-Hot-Token nur über Embedding WE und Unembedding WU direkt auf Logits ab.
  2. Da die Embedding-Dimension kleiner als das Vokabular ist, approximiert WU*WE Bigramm-Log-Likelihoods mit niedrigem Rang.
  3. Jeder große Residual-Stream-Transformer behält diesen direkten Pfadterm WU*WE für direkte Token-Übergangsstatistiken bei.
Zero-Layer-TransformerToken-Embedding (WE)Unembedding-Matrix (WU)Bigramm-Statistik

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.