Inferenzkosten für KI-Agenten steigen bis 2028 auf mehr als das Fünffache

(Source: Andrey Popov / AdobeStock)

(Source: Andrey Popov / AdobeStock)

KI-Systeme übernehmen zunehmend Aufgaben, die mehrere Arbeitsschritte erfordern. Statt lediglich eine Anfrage zu beantworten, planen sie Abläufe, treffen Entscheidungen und führen einzelne Schritte selbstständig aus. Dieser zusätzliche Aufwand treibt laut Gartner die Inferenzkosten in die Höhe. Das Marktforschungsunternehmen erwartet, dass die Kosten pro agentischem Workflow bis 2028 auf mehr als das Fünffache steigen.

Gartner spricht in diesem Zusammenhang vom "Inferenzparadox". Zwar werden einzelne Tokens günstiger. Gleichzeitig ermöglicht dies den Einsatz leistungsfähigerer und teurerer Modelle sowie komplexerer Anwendungen, die erheblich mehr Tokens benötigen. Unter dem Strich steigen die Anforderungen an KI-Systeme schneller, als die Kosten pro Token sinken.

KI-Agenten verbrauchen deutlich mehr Tokens

Besonders deutlich zeigt sich der Effekt bei KI-Agenten. Ein einfacher Chatbot verarbeitet eine Anfrage und formuliert eine Antwort. Ein KI-Agent arbeitet dagegen eine Aufgabe über mehrere Schritte hinweg ab, zieht fortlaufend Schlussfolgerungen, stimmt Zwischenschritte aufeinander ab und überprüft das eigene Vorgehen.

Weist ein System eine Aufgabe einem agentischen Reasoning-Modell zu, verursacht dies auf Anbieterseite laut Gartner mindestens fünfmal so hohe Inferenzkosten wie eine einfache Chatbot-Interaktion. Je komplexer die Aufgabe, desto grösser kann der Unterschied ausfallen.

Gartner rechnet zudem nicht damit, dass ein einzelnes KI-Modell alle Anforderungen zuverlässig und kostengünstig erfüllen kann. Stattdessen dürften Anbieter verschiedene Modelle miteinander kombinieren und je nach Aufgabe unterschiedlich leistungsfähige Systeme einsetzen. Damit sich Reasoning-Agenten wirtschaftlich lohnen, müssen sie entweder einen entsprechend höheren Nutzen bringen oder Anbieter ihre Inferenz stark optimieren. Dazu gehört etwa, Aufgaben je nach Komplexität an passende Modelle weiterzuleiten und deren Zusammenspiel effizient zu steuern.

Will Sommer, Senior Director Analyst bei Gartner, warnt deshalb vor dem pauschalen Einsatz autonomer KI-Systeme. Wer unabhängig von der jeweiligen Aufgabe standardmässig auf leistungsfähige, allgemein einsetzbare Agenten setzt, riskiere Kosten, die um Grössenordnungen über jenen optimierter KI-Ökosysteme liegen.

Wie Gartner die prognostizierte Kostensteigerung im Detail berechnet, geht aus der Mitteilung allerdings nicht hervor. Das Unternehmen nennt weder konkrete Ausgangswerte noch legt es die quantitativen Annahmen für die Prognose bis 2028 offen.

Übrigens: Gartner geht davon aus, dass Unternehmen bis Ende 2027 mehr als 40 Prozent ihrer Projekte mit KI-Agenten einstellen - mehr dazu lesen Sie hier.