Why AI Spent 60 Years Hunting for the Right Activation
3-Second Blueprint (English)
- Sigmoid's non-negative [0,1] output forces weight gradients to zig-zag; zero-centered tanh fixes this but saturates at large |z|.
- ReLU eliminates positive gradient saturation via linear pass-through, while GELU and Swish introduce smooth self-gated curves.
- Modern Transformer FFNs adopt bias-free SwiGLU (content W_V ⊙ gated W_G) or sparse Squared ReLU for higher capacity and speed.
Transformer FFNSwiGLUReLU & GELUSquared ReLUBackpropagation
3-Sekunden-Fazit (Deutsch)
- Sigmoids [0,1]-Ausgabe erzwingt Zickzack-Gradienten; das nullzentrierte tanh behebt dies, sättigt aber weiterhin bei großem |z|.
- ReLU verhindert positive Gradientensättigung linear, während GELU und Swish glatte selbstgesteuerte Übergänge einführen.
- Moderne Transformer-FFNs nutzen biasfreies SwiGLU (Inhalt W_V ⊙ Gate W_G) oder dünnbesetztes Squared ReLU für hohe Effizienz.
Transformer-FFNSwiGLUReLU & GELUSquared ReLUBackpropagation
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.