What CLIP models are (Contrastive Language-Image Pre-training)
3-Second Blueprint (English)
- CLIP jointly trains separate image and text Transformer encoders to project visual and linguistic inputs into one shared latent space.
- Contrastive learning maximizes cosine similarity along matching image-caption diagonal pairs while pushing non-matches apart.
- Shared multimodal embeddings enable zero-shot image classification with arbitrary text prompts and guide priors in DALL-E 2.
CLIPContrastive LearningCosine SimilarityZero-Shot Classification
3-Sekunden-Fazit (Deutsch)
- CLIP trainiert getrennte Bild- und Text-Transformer-Encoder, um beide Modalitäten in denselben Latenzraum zu projizieren.
- Kontrastives Lernen maximiert die Kosinus-Ähnlichkeit passender Bild-Text-Paare auf der Diagonalen und trennt Fehlpaare.
- Der gemeinsame Embedding-Raum ermöglicht Zero-Shot-Bildklassifikation per Text-Prompt und speist Priors wie in DALL-E 2.
CLIPKontrastives LernenKosinus-ÄhnlichkeitZero-Shot-Klassifikation
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.