Lecture 3 — Scheduling and Data Flow | Stanford University
3-Second Blueprint (English)
- MapReduce schedules map tasks directly on Distributed File System chunk servers holding input replicas to eliminate network input-copy overhead.
- If a map node fails, completed map tasks must rerun since intermediate files sit on local disk, whereas finished reduce outputs persist on DFS.
- Systems set map task count M far above node count for fast failure rebalancing, while keeping reducer count R smaller to limit output sharding.
MapReduce ArchitectureData-Locality SchedulingDistributed File SystemWorker Fault Tolerance
3-Sekunden-Fazit (Deutsch)
- MapReduce plant Map-Aufgaben direkt auf Chunk-Servern mit lokalen Eingabereplikaten ein, um unnötige Datenkopien über das Netzwerk zu vermeiden.
- Fällt ein Map-Knoten aus, müssen auch fertige Map-Tasks neu starten, da Zwischenwerte lokal liegen; fertige Reduce-Daten liegen sicher im DFS.
- Viele kleine Map-Tasks beschleunigen den Neuausgleich bei Ausfällen, während weniger Reducer R die Aufteilung der Ausgabedateien gering halten.
MapReduce-ArchitekturDatenlokales SchedulingVerteiltes DateisystemFehlertoleranz
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.