Brain-Score 95/100 TECH 3Blue1Brown · 1:44

How AI connects text and images

How AI connects text and images
Watch in DeepScroll Feed → Watch Original on YouTube

3-Second Blueprint (English)

  1. Modern image and video generators pair reverse-time diffusion physics with joint text-image representations pioneered by CLIP.
  2. CLIP trains separate image and text encoders to project matching photos and captions into nearby 512-dimensional vectors.
  3. Subtracting a hatless portrait vector from a hatted portrait vector yields a difference vector matching the text embedding 'hat'.
CLIP ArchitectureJoint Embedding SpaceVector ArithmeticDiffusion Models

3-Sekunden-Fazit (Deutsch)

  1. Moderne Bild- und Videogeneratoren verbinden zeitumgekehrte Diffusionsprozesse mit gemeinsamen Text-Bild-Räumen wie OpenAIs CLIP.
  2. CLIP trainiert getrennte Bild- und Text-Encoder darauf, passende Fotos und Beschreibungen auf nahe 512D-Vektoren abzubilden.
  3. Zieht man den Vektor eines Porträts ohne Hut von dem mit Hut ab, entspricht der Differenzvektor präzise dem Text-Embedding 'Hut'.
CLIP-ArchitekturEmbedding-VektorraumVektorarithmetikDiffusionsmodelle

Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.