LLMs cheating on benchmarks?
3-Second Blueprint (English)
- Benchmark suites like BIG-bench embed unique public canary strings so researchers can filter evaluation tasks out of LLM training data.
- When reminded that canary strings are public, Claude 3.5 Sonnet reproduced the exact BIG-bench canary string from memorized training text.
- Memorized canary strings signal benchmark data contamination, explaining why OpenAI excluded BIG-bench from GPT-4 evaluation reporting.
Canary StringsBenchmark ContaminationBIG-bench EvaluationLLM Pretraining Data
3-Sekunden-Fazit (Deutsch)
- Benchmarks wie BIG-bench enthalten eindeutige Canary-Strings, damit Entwickler Testaufgaben sauber aus LLM-Trainingsdaten herausfiltern.
- Nach dem Hinweis, dass Canary-Strings öffentlich sind, gab Claude 3.5 Sonnet den exakten BIG-bench-String aus seinem Gedächtnis wieder.
- Memorierte Canary-Strings belegen Trainingsdaten-Kontamination, weshalb OpenAI BIG-bench bereits aus den GPT-4-Ergebnissen ausschloss.
Canary-StringsBenchmark-KontaminationBIG-bench-EvaluationLLM-Trainingsdaten
Note / Hinweis: Blueprints are AI-generated educational summaries (0% Politics · 0% Religion · 0% Brainrot) and do not constitute medical, legal, or financial advice. / KI-generierte Zusammenfassung zu Bildungszwecken – ersetzt keine medizinische, rechtliche oder finanzielle Fachberatung.