OpenAI CLIP model explained
3-Second Blueprint (English)
- Instead of predicting exact captions, CLIP trains parallel vision and text encoders via symmetric contrastive cosine loss.
- Pairing a 336 px ViT-L image encoder with a 49k-vocab BPE Transformer maps multimodal concepts into a shared space.
- Natural language supervision enables strong zero-shot classification and up to 75% higher robustness under domain shift.
OpenAI CLIPContrastive LearningVision Transformer (ViT)Zero-Shot Transfer
3-Sekunden-Fazit (Deutsch)
- Statt exakter Bildunterschriften trainiert CLIP parallele Bild- und Text-Encoder mittels kontrastivem Kosinus-Verlust.
- Ein 336-px-ViT-L-Bildencoder und ein BPE-Transformer projizieren multimodale Konzepte in einen gemeinsamen Vektorraum.
- Sprachbasierte Vortrainingsdaten ermöglichen präzisen Zero-Shot-Transfer und hohe Robustheit bei Verteilungswechseln.
OpenAI CLIPKontrastives LernenVision Transformer (ViT)Zero-Shot-Transfer
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.