Brain-Score 85/100 TECH bycloud · 11:44

xLSTM: The Sequel To The Legendary LSTM

xLSTM: The Sequel To The Legendary LSTM
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Introduces xLSTM blocks combining Scalar LSTM (sLSTM, recurrent memory mixing) and Matrix LSTM (mLSTM, parallelizable matrix memory).
  2. On formal modular-arithmetic benchmarks, sLSTM variants beat Transformers, Mamba, RWKV, and pure mLSTM lacking memory mixing.
  3. Reveals a scaling trade-off: sLSTM blocks improve long-context extrapolation, whereas pure mLSTM scales better on LLM benchmarks.
xLSTMScalar LSTM (sLSTM)Matrix LSTM (mLSTM)State-Tracking Benchmarks

3-Sekunden-Fazit (Deutsch)

  1. Kombiniert in xLSTM-Blöcken Scalar LSTM (sLSTM mit Memory-Mixing) und Matrix LSTM (mLSTM mit parallelisierbarem Matrixspeicher).
  2. Bei Modulararithmetik-Benchmarks schlagen sLSTM-Varianten Transformer, Mamba, RWKV sowie reines mLSTM ohne Memory-Mixing.
  3. Zeigt einen Skalierungs-Kompromiss: sLSTM verbessert Kontextlängen-Extrapolation, während reines mLSTM bei großen LLMs besser skaliert.
xLSTMScalar LSTM (sLSTM)Matrix LSTM (mLSTM)State-Tracking-Benchmarks

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.