Die versteckte Skalierungsklippe, die Ihre Agenten-Rollouts zum Scheitern bringen könnte

Unternehmen, die Agenten erstellen und skalieren möchten, müssen sich auch einer anderen Realität bewusst sein: Agenten sind nicht wie andere Software aufgebaut.

Agenten unterscheiden sich grundlegend in ihrer Konstruktion, ihrer Funktionsweise und ihren Verbesserungsmöglichkeiten, so May Habib, CEO und Mitgründerin von Writer . Das bedeutet, dass bei adaptiven Systemen der traditionelle Softwareentwicklungszyklus aufgegeben werden muss.

„Agenten befolgen Regeln nicht zuverlässig“, sagte Habib am Mittwoch auf der Bühne von VB Transform . „Sie sind ergebnisorientiert. Sie interpretieren. Sie passen sich an. Und dieses Verhalten zeigt sich wirklich nur in realen Umgebungen.“

Das Wissen, was funktioniert – und was nicht – verdankt Habib seiner Erfahrung bei der Unterstützung von Hunderten von Unternehmenskunden beim Aufbau und der Skalierung von Agenten auf Unternehmensniveau. Laut Habib sind mehr als 350 der Fortune 1000 Writer-Kunden, und mehr als die Hälfte der Fortune 500 wird bis Ende 2025 ihre Agenten mit Writer skalieren.

Der Einsatz nicht-deterministischer Technologie zur Erzielung leistungsstarker Ergebnisse könne sogar „ein echter Albtraum“ sein, so Habib – insbesondere bei der systematischen Skalierung von Agenten. Auch wenn Unternehmensteams Agenten ohne Produktmanager und Designer entwickeln können, sei für die Zusammenarbeit, den Aufbau, die Iteration und die Wartung von Agenten dennoch eine „PM-Denkweise“ erforderlich, meint Habib.

„Unglücklicherweise oder glücklicherweise – je nach Perspektive – wird die IT-Abteilung die Zeche zahlen müssen, wenn sie ihre Geschäftspartner nicht zu dieser neuen Art des Aufbaus führt.“

>> Sehen Sie hier unsere gesamte Berichterstattung zu Transform 2025 <<

Zu den veränderten Denkweisen gehört das Verständnis für die ergebnisorientierte Natur von Agenten. Sie sagte beispielsweise, dass viele Kunden Agenten bitten, ihre Rechtsabteilungen bei der Prüfung und Korrektur von Verträgen zu unterstützen. Das sei jedoch zu offen. Ein zielorientierter Ansatz bedeute vielmehr, einen Agenten zu entwickeln, der den Zeitaufwand für die Prüfung und Korrektur von Verträgen reduziert.

„Im traditionellen Softwareentwicklungszyklus wird für eine deterministische Reihe sehr vorhersehbarer Schritte entworfen“, sagte Habib. „Eingabe und Ausgabe erfolgen deterministischer. Mit Agenten hingegen versucht man, das Verhalten der Agenten zu formen. Es geht also weniger um einen kontrollierten Ablauf, sondern vielmehr darum, Kontext zu schaffen und die Entscheidungsfindung des Agenten zu steuern.“

Ein weiterer Unterschied besteht darin, einen Plan für Agenten zu erstellen, der ihnen Geschäftslogik vermittelt, anstatt ihnen Workflows vorzugeben. Dazu gehört die Entwicklung von Argumentationsschleifen und die Zusammenarbeit mit Fachexperten, um Prozesse abzubilden, die das gewünschte Verhalten fördern.

Obwohl viel über die Skalierung von Agenten gesprochen wird, unterstützt Writer die meisten Kunden immer noch dabei, diese einzeln zu erstellen. Denn es ist wichtig, zunächst die Fragen zu beantworten, wer den Agenten besitzt und prüft, wer sicherstellt, dass er relevant bleibt und ob er weiterhin die gewünschten Ergebnisse liefert.

„Ohne einen neuen Ansatz für die Entwicklung und Skalierung von Agenten erreichen die Leute sehr schnell eine Skalierungsgrenze“, sagte Habib. „Diese Grenze erreichen die Leute, wenn die Fähigkeit ihrer Organisation, Agenten verantwortungsvoll zu verwalten, das Entwicklungstempo der einzelnen Abteilungen deutlich übersteigt.“

Auch die Qualitätssicherung für Agenten unterscheidet sich. Statt einer objektiven Checkliste berücksichtigt die agentische Evaluation nichtbinäres Verhalten und bewertet, wie Agenten in realen Situationen agieren. Denn ein Fehler ist nicht immer offensichtlich – und nicht so eindeutig wie die Überprüfung, ob etwas kaputt ist. Stattdessen, so Habib, sei es besser zu prüfen, ob sich ein Agent gut verhalten hat, zu fragen, ob die Sicherheitsvorkehrungen funktionierten, und Ergebnisse und Absichten zu bewerten: „Das Ziel ist nicht Perfektion, sondern Verhaltenssicherheit, denn hier spielt viel Subjektivität eine Rolle.“

Unternehmen, die die Bedeutung von Iteration nicht verstehen, spielen am Ende „ein ständiges Tennisspiel, das beide Seiten so lange zermürbt, bis sie keine Lust mehr haben“, so Habib. Es ist auch wichtig, dass Teams mit nicht perfekten Agenten klarkommen und sich stattdessen darauf konzentrieren, sie sicher zu starten, schnell zu betreiben und immer wieder zu iterieren.

Trotz der Herausforderungen gibt es bereits Beispiele dafür, dass KI-Agenten Unternehmen dabei helfen, neue Umsätze zu generieren. So erwähnte Habib beispielsweise eine Großbank, die gemeinsam mit Writer ein agentenbasiertes System entwickelte. Dies führte zu einer neuen Upselling-Pipeline im Wert von 600 Millionen US-Dollar durch die Einbindung neuer Kunden in mehrere Produktlinien.

Auch die Wartung von Agenten unterscheidet sich. Traditionelle Softwarewartung beinhaltet die Überprüfung des Codes, wenn etwas nicht funktioniert. Laut Habib benötigen KI-Agenten jedoch eine neue Art der Versionskontrolle für alles, was das Verhalten beeinflussen kann. Dies erfordert außerdem eine angemessene Governance und die Sicherstellung, dass die Agenten langfristig nützlich bleiben, anstatt unnötige Kosten zu verursachen.

Da sich Modelle nicht sauber auf KI-Agenten abbilden lassen, umfasst die Wartung laut Habib die Überprüfung von Eingabeaufforderungen, Modelleinstellungen, Tool-Schemata und Speicherkonfiguration. Dies bedeutet auch, die Ausführungen über Eingaben, Ausgaben, Argumentationsschritte, Tool-Aufrufe und menschliche Interaktionen hinweg vollständig nachzuverfolgen.

„Man kann eine LLM-Eingabeaufforderung [eines großen Sprachmodells] aktualisieren und beobachten, wie sich der Agent völlig anders verhält, obwohl sich in der Git-Historie nichts geändert hat“, sagte Habib. „Die Modellverknüpfungen verschieben sich, Abfrageindizes werden aktualisiert, Tool-APIs entwickeln sich weiter, und plötzlich verhält sich dieselbe Eingabeaufforderung nicht mehr wie erwartet … Es kann sich anfühlen, als würden wir Geister debuggen.“