Roadmap für die Skalierung von KI-Agenten im modernen Unternehmen

In Zusammenarbeit mit:

Johnny Chivers, EMEA AWS Technical Director
Aidan Caffrey, Distinguished Architect and UK FS Data and AI Engineering Lead

1. Aufrechterhaltung eines kohärenten Systemzustands 
   Wenn sich KI-Agenten innerhalb eines Systems vermehren, wird die Verwaltung einer einzigen, zuverlässigen Datenquelle schwierig. Herkömmliche, synchrone Service-to-Service-Integrationen erhöhen oft die Latenz und Komplexität und führen zu Leistungsengpässen, die Teilausfälle oder Verlangsamungen verursachen. Für Unternehmen, die mit Finanztransaktionen oder regulierten Daten (z. B. im Gesundheitswesen) umgehen, sind eine konsistente Statusverwaltung und minimale Ausfallzeiten unverzichtbar.

2. Überwindung von Engpässen bei der Skalierbarkeit 
   Viele KI-gesteuerte Systeme können bei Spitzenlasten nur schwer skaliert werden. Durch direkte Service-Integrationen können Systeme in starre architektonische Beschränkungen eingebunden werden, wodurch die Fähigkeit zur unabhängigen Skalierung von Komponenten eingeschränkt wird. Zudem erweist sich die Verarbeitung grosser Mengen an eventgesteuerten Daten bei gleichzeitiger Wahrung der Datenkonsistenz oft als Engpass. Das Ergebnis ist ein System, das Datenverkehrsspitzen oder saisonale Schwankungen nicht nahtlos auffangen kann.
   
3. Regulatorische Compliance und Beobachtbarkeit
   In stark regulierten Sektoren muss jede Transaktion überprüfbar sein. KI-gestützte Entscheidungen erfordern Rückverfolgbarkeit und Erklärbarkeit. Die Aufrechterhaltung der Beobachtbarkeit – zur Erkennung von Modellabweichungen, potenziellen Verzerrungen oder Anomalien – führt häufig zu einem zusätzlichen Systemaufwand, der eine robuste Protokollierung und leicht überprüfbare Ereignisprotokolle erfordert.

Um diese Herausforderungen zu bewältigen, schlagen wir einen eventgesteuerten Prozess vor, der Folgendes miteinander verbindet:

• Apache Kafka für asynchrone Messaging- und Ereignisprotokollierung.

• BPMN-basierte Orchestrierung (z. B. Camunda 8 powered by Zeebe) für die Verwaltung länger andauernder Workflows und Entscheidungsbäume.

Anstelle von direkten Aufrufen zwischen KI-Diensten wird jedes Ereignis in Kafka veröffentlicht, sodass Agenten und Dienste asynchron arbeiten können. Zentrale Vorteile:

• Nahtlose Skalierbarkeit 
  Einzelne Komponenten (z. B. Transkription oder Betrugserkennung) werden unabhängig voneinander basierend auf dem Message-Durchsatz skaliert. Wenn es zu einem plötzlichen Anstieg kommt (Spitzentag im Handel, E-Commerce-Flash-Sale), müssen nur die relevanten Komponenten skaliert werden.

• Resilienz und Fehlertoleranz 
  Mithilfe des Ereignisprotokolls von Kafka kann das System Ereignisse nach Ausfallzeiten oder Störungen wiedergeben. Dies ist in regulierten Bereichen wie dem Finanz- und Gesundheitswesen, in denen Datenverluste keine Option sind, von entscheidender Bedeutung.

• Klare Trennung der Anliegen 
  Die BPMN-basierte Orchestrierung übernimmt den Geschäftsprozessablauf, während sich KI-Agenten auf Analyse und Entscheidungsfindung konzentrieren. Dieser modulare Aufbau reduziert die Komplexität und verbessert die Wartbarkeit.

1. Ein lang andauernder Geschäftsprozess wird in BPMN modelliert (z. B. die Vergabe von Darlehen oder ein komplexer sprachbasierter Kundensupport). 
2. Jeder Prozessschritt wird Ereignissen zugewiesen, die durch Kafka-Themen laufen. 
3. KI-Agenten registrieren sich für relevante Kafka-Themen, verarbeiten die Ereignisse (z. B. durch Ausführen eines maschinellen Lernmodells) und veröffentlichen die Ergebnisse wieder auf Kafka. 
4. Die BPMN-Engine überwacht bestimmte Ereignisse, um den Workflow in die nächste Phase zu überführen – vollständig entkoppelt von den KI-Diensten selbst. 

Durch diese lose Kopplung können Unternehmen einzelne KI-Aufgaben, Geschäftslogik oder Compliance-Schritte anpassen, ohne das gesamte System aus dem Gleichgewicht zu bringen. 

1. Konversationsbasierte KI in grossem Massstab 
   Eine konversationsbasierte KI-Anwendung nutzt Azure Speech Services für Sprachinteraktionen in Echtzeit. Audiodaten werden in Kafka gestreamt, wodurch separate Dienste für die Umwandlung von Sprache in Text, eine kontextbezogene Antwortgenerierung und die Umwandlung von Text in Sprache ausgelöst werden. Jedes Ergebnis wird als Ereignis veröffentlicht, sodass Microservices asynchron reagieren können. Durch die Entkopplung der einzelnen Schritte lässt sich das System horizontal auf Tausende gleichzeitiger Sitzungen skalieren, wobei eine geringe Latenz beibehalten wird. 
2. Direkte Voice-to-Voice-KI-Modelle 
   In erweiterten Setups verarbeiten KI-Modelle Spracheingaben direkt und generieren synthetische Sprachausgaben in Echtzeit, wobei sie Textvermittler umgehen. Beispielsweise können Frameworks wie WaveNet von Google, Whisper von OpenAI oder SeamlessM4T von Meta die Audioeingabe und -ausgabe verarbeiten. 
   • Eventgesteuerter Ablauf: Kafka-Themen verwalten jede Phase (Verarbeitung der Spracheingabe, Absichtserkennung, Antwortgenerierung, Sprachsynthese) asynchron.
   • Skalierung und Latenz: Edge-Computing, GPU-Beschleunigung und WebRTC-basiertes Streaming können Netzwerkverzögerungen weiter reduzieren. 
   • Kontextverwaltung: Redis oder ähnliche In-Memory-Speicher bieten einen «Session-Speicher», sodass der KI-Agent den Benutzerkontext abrufen kann und menschenähnliche Konversationen möglich sind. Mit diesem Design können Tausende von gleichzeitigen Konversationen mit extrem geringer Latenzzeit abgewickelt werden – ideal für den Kundensupport, sprachbasierte digitale Assistenten und freihändige IoT-Anwendungen. 
3. Aufsichtsrechtliche Compliance im Bankwesen 
   Eine globale Bank wendet die gleichen Architekturprinzipien für das Basel-III/IV-Reporting an. Handelssysteme veröffentlichen grosse Datenmengen in verschiedenen Formaten in Kafka. Ein BPMN-Workflow-Orchestrator (Camunda 8) koordiniert KI-Agenten, welche die Daten standardisieren und validieren. Redis stellt eine idempotente Verarbeitung sicher und verhindert die Doppelbearbeitung von Ereignissen. In der Zwischenzeit skaliert die Container-Orchestrierung (Kubernetes) die Infrastruktur automatisch auf der Grundlage des Handelsvolumens und gewährleistet so eine Kostenoptimierung. Die gesamte Pipeline ist vollständig überprüfbar – ein entscheidender Faktor für die Erfüllung regulatorischer Anforderungen.