Brain-Score 89/100 TECH Better Stack · 2:41

AI Might Not Need Attention Anymore #ai #research #tech

AI Might Not Need Attention Anymore #ai #research #tech
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. A December 2025 paper replaces quadratic O(L^2) Transformer attention with O(L) local token pairing at fixed offsets (1 to 16).
  2. Tokens project from 256 to 32 dimensions, forming 2D subspaces on a Grassmann manifold encoded via 496 Plücker coordinates.
  3. Community audits flagged missing source code, future-token leakage, and a 22.6% reproduction gap on toy 18M-parameter models.
Grassmann ManifoldPlücker CoordinatesLearned GatingTransformer Self-Attention

3-Sekunden-Fazit (Deutsch)

  1. Ein Paper von Dez. 2025 ersetzt quadratische O(L^2)-Attention durch lineare O(L)-Token-Paarung bei festen Distanzen (1 bis 16).
  2. Tokens werden von 256 auf 32 Dimensionen projiziert und über 496 Plücker-Koordinaten auf einer Grassmann-Mannigfaltigkeit codiert.
  3. Prüfungen zeigten fehlenden Code, Future-Token-Leakage und 22,6 % Leistungsverlust bei kleinen 18M-Parameter-Reproduktionen.
Grassmann-MannigfaltigkeitPlücker-KoordinatenGelerntes GatingTransformer-Attention

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.