AGENTS.md: ETH-Zürich-Studie zeigt – kaum Nutzen, aber 20% mehr Kosten für Coding-Agenten
Eine ETH-Zürich-Studie zeigt: LLM-generierte AGENTS.md-Dateien reduzieren die Erfolgsrate von Coding-Agenten leicht und erhöhen die Inferenzkosten um 20–23%. Nur menschlich gepflegte Kontextdateien bringen moderate Verbesserungen.
AGENTS.md unter dem Mikroskop: ETH Zürich testet Kontextdateien für Coding-Agenten
Eine neue Studie der ETH Zürich hat systematisch untersucht, ob AGENTS.md-Dateien – also repository-spezifische Briefingdokumente für KI-Coding-Agenten – tatsächlich helfen. Das Ergebnis ist ernüchternd: LLM-generierte Kontextdateien reduzieren die Erfolgsrate der Agenten im Schnitt um 0,5 bis 3 Prozentpunkte gegenüber dem Betrieb ohne solche Dateien – und erhöhen gleichzeitig die Inferenzkosten um 20–23 Prozent.
Das Forschungsteam testete drei Agenten-Systeme (Claude Code mit Sonnet 4.5, OpenAI Codex mit GPT-5.2/5.1 mini sowie Qwen Code mit Qwen3-30B-Coder) auf zwei Benchmarks: SWE-bench Lite (300 Aufgaben) und AgentBench (138 Aufgaben mit echten, menschlich gepflegten Kontextdateien). Die Auswertung zeigt: Agenten nehmen die Anweisungen in Kontextdateien zwar ernst und nutzen erwähnte Tools häufiger – doch die erhöhte Aktivität macht Aufgaben komplexer statt einfacher.
Menschlich gepflegte Kontextdateien schnitten besser ab: Sie verbessern die Erfolgsrate auf AgentBench um durchschnittlich 4 Prozentpunkte. Allerdings steigen auch hier Schrittzahl und Tokenverbrauch um knapp 20 Prozent. Das grundlegende Problem: LLM-generierte Kontextdateien sind meist redundant zur vorhandenen Dokumentation (README, CONTRIBUTING, Docs), die Agenten ohnehin per Dateizugriff nutzen können.
Die Studie „Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?" ist auf arXiv verfügbar.
Quelle: Heise Online