The Neural Tangent Kernel
3-Second Blueprint (English)
- Linearizing a wide network around initial weights maps inputs to parameter-gradient features whose dot product forms the tangent kernel.
- Scaling initial weights by 1/sqrt(width) freezes the kernel in the infinite-width limit, turning training into convex quadratic descent.
- Infinite-width gradient descent converges in closed form via kernel regression, contrasting lazy regimes with finite-width feature learning.
Neural Tangent Kernel (NTK)Gradient Feature Map1/sqrt(width) ScalingKernel RegressionGradient Descent
3-Sekunden-Fazit (Deutsch)
- Die Linearisierung breiter Netze um die Startgewichte bildet Eingaben auf Gradientenvektoren ab, deren Skalarprodukt den NTK definiert.
- Gewichtsskalierung mit 1/Wurzel(Breite) friert den Kernel im Grenzfall unendlicher Breite ein und macht das Training strikt konvex.
- Gradientenabstieg konvergiert dann geschlossen als Kernel-Regression, im Kontrast zum echten Merkmalslernen endlich breiter Netze.
Neural Tangent Kernel (NTK)Gradienten-Merkmalsraum1/sqrt(Breite)-SkalierungKernel-RegressionGradientenabstieg
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.