Harvard-Studie stellt Produktivitätsversprechen von KI infrage

(Source: InfiniteFlow / stock.adobe.com)

(Source: InfiniteFlow / stock.adobe.com)

KI-Agenten steigern die Codeproduktion. Doch der zusätzliche Code führt in Unternehmen nicht automatisch zu mehr fertiger Software, wie eine bislang nicht peer-reviewte Studie der beiden Harvard-Wirtschaftsforschenden Fiona Chen und James Stratton zeigt.

Für ihre Untersuchung (PDF) werteten die Forschenden rund 300 Millionen digital erfasste Arbeitsvorgänge aus 718 Unternehmen aus. Die Daten stammen vom Softwareanbieter Jellyfish und decken den Zeitraum von Januar 2021 bis März 2026 ab. Sie umfassen unter anderem Codeänderungen, abgeschlossene Entwicklungsaufgaben und Informationen über den Einsatz von KI-Werkzeugen. Die Forschenden verglichen Unternehmen, die solche Werkzeuge zu unterschiedlichen Zeitpunkten eingeführt hatten.

Mehr Code, aber kaum mehr fertige Software

Die Ergebnisse zeigen zunächst einen deutlichen Anstieg der Codeproduktion. Nach der Einführung von KI-Agenten stieg die Zahl der hinzugefügten Codezeilen pro Kopf um durchschnittlich 30 Prozent. Die Zahl der gespeicherten Codeänderungen legte um 20 Prozent zu, jene der zur Überprüfung eingereichten Änderungen um 23 Prozent. Anders als einfache KI-Assistenten, die einzelne Codezeilen vorschlagen oder ergänzen, können solche Agenten auch komplexere Aufgaben über mehrere Arbeitsschritte hinweg selbstständig bearbeiten.

Doch führt der zusätzliche Code auch zu mehr fertiger Software? Um das herauszufinden, untersuchten die Forschenden, wie viele Aufgaben und grössere Arbeitspakete die Entwicklungsteams abschlossen. Dafür griffen sie auf Daten aus Projektmanagement-Systemen wie Jira zurück. Das überraschende Ergebnis: Trotz der deutlich höheren Codeproduktion fanden sie keinen statistisch signifikanten Anstieg bei den abgeschlossenen Arbeiten.

Das bedeutet nicht, dass KI keinen Produktivitätsgewinn bringt. Kleinere Verbesserungen schliessen die Ergebnisse nicht aus. Einen Produktivitätsschub, der mit dem Zuwachs an geschriebenem Code vergleichbar wäre, konnten die Forschenden jedoch nicht nachweisen.

Die Codeprüfung wird zum Flaschenhals

Eine mögliche Erklärung liefert die Untersuchung gleich mit: Je mehr Code KI-Agenten produzieren, desto mehr Arbeit fällt bei dessen Kontrolle an. Schliesslich müssen Entwicklungsteams neue Programmteile prüfen, testen und gegebenenfalls überarbeiten, bevor sie diese in ihre Software übernehmen.

Genau hier zeigt die Studie einen deutlichen Engpass. Nach der Einführung von KI-Agenten stieg die durchschnittliche Zeit zwischen der Einreichung einer Codeänderung und ihrer Übernahme in den gemeinsamen Programmcode um 49 Prozent. Das entspricht rund dreieinhalb zusätzlichen Tagen. Dabei erfasst die Untersuchung die gesamte Zeitspanne einschliesslich Wartezeiten und Nachbesserungen, nicht nur die eigentliche Prüfzeit.

Hinzu kommt: Der Anteil der eingereichten Codeänderungen, für die das Team Nachbesserungen verlangte, verdoppelte sich nahezu. Auch die Zahl der Prüfkommentare pro eingereichter Änderung stieg um 35 Prozent. Entsprechend beteiligten sich mehr Beschäftigte an der Kontrolle des Programmcodes.

Ob KI-Agenten tatsächlich mehr fehlerhaften Code produzieren, lässt sich daraus allerdings nicht eindeutig ableiten. Auch die grössere Menge an Code oder strengere Prüfverfahren könnten den zusätzlichen Aufwand erklären.

KI kann den Engpass nicht beseitigen

Eine naheliegende Lösung wäre, die KI gleich auch mit der Codeprüfung zu beauftragen. Tatsächlich hatten bis März 2026 bereits knapp 80 Prozent der untersuchten Unternehmen KI-Werkzeuge zur Codeprüfung eingesetzt. Dennoch erhielt nur rund jede neunte eingereichte Codeänderung mindestens einen KI-generierten Prüfkommentar. Die menschliche Kontrolle spielt somit weiterhin eine zentrale Rolle.

Die Aussagekraft der Studie hat allerdings Grenzen. Die Daten stammen ausschliesslich von Unternehmen, die Jellyfish nutzen und einer Verwendung ihrer Daten für Forschungszwecke zugestimmt haben. Wie gut sich die Ergebnisse auf andere Unternehmen übertragen lassen, ist unklar. Zudem betrachten die Forschenden vor allem die kurzfristigen Folgen der Einführung; die Daten reichen bis März 2026. Wie sich KI-Agenten langfristig auf die Softwareentwicklung auswirken, bleibt also offen.

Die Untersuchung macht dennoch deutlich: Wer das Programmieren mit KI beschleunigt, muss auch die nachfolgenden Arbeitsschritte anpassen. Sonst entsteht zwar mehr Code, aber nicht unbedingt mehr fertige Software.

Übrigens: Warum schnelleres Programmieren allein noch keine produktivere Softwareentwicklung bedeutet und worauf es bei der Qualitätssicherung ankommt, erklärt OST-Professor Markus Stolze im Interview.