Diffusion Transformers (ViT, DiT, MMDiT)
3-Second Blueprint (English)
- Vision Transformers tokenize continuous images into discrete patch embeddings, replacing convolutional backbones for vision.
- Diffusion Transformers (DiT) operate in compact latent space and inject conditioning via FiLM-style scale-and-shift modulation.
- MMDiT processes image and text tokens in dual encoders linked by symmetric joint attention for image and video generation.
Vision Transformer (ViT)Diffusion Transformer (DiT)MMDiT Joint AttentionFeature Modulation (FiLM)
3-Sekunden-Fazit (Deutsch)
- Vision Transformer zerlegen Bilder in diskrete Patch-Embeddings und lösen klassische Faltungsnetze (CNNs) als Rückgrat ab.
- Diffusion Transformer (DiT) arbeiten im kompakten Latenzraum und steuern Merkmale per FiLM-Skalierungs- und Shift-Modulation.
- MMDiT verarbeitet Bild- und Text-Token in zwei Pfaden mit symmetrischer Joint Attention für präzise Bild- und Videogenerierung.
Vision Transformer (ViT)Diffusion Transformer (DiT)MMDiT Joint AttentionFeature-Modulation (FiLM)
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.