Am 4. September 2026 dokumentierte Ben Tossell in der fünften Ausgabe seines Formats Ben's Bites ein bemerkenswertes Experiment zur industriellen Datenverarbeitung mittels autonomer Multi-Agenten-Pipelines. Im Rahmen des Projekts wurden insgesamt 107 Millionen Datenzeilen britischer Kommunalausgaben erfasst, bereinigt und normalisiert. Als technisches Fundament diente ein Setup auf Basis von ChatGPT Codex, das über einen Zeitraum von rund 48 Stunden weitgehend ohne menschliche Eingriffe operierte. Die praktische Umsetzung verdeutlicht, wie generative Sprachmodelle zunehmend traditionelle Datenpipelines ergänzen und komplexe Aufgaben über längere Zeiträume eigenständig ausführen können.
Der verarbeitete Datensatz umfasste Ausgaben über 500 britische Pfund aus 319 von insgesamt 339 Kommunen des Vereinigten Königreichs. Diese öffentlichen Finanzberichte liegen in der Praxis häufig in stark fragmentierten, uneinheitlichen Formaten vor, die von Kommune zu Kommune variieren. Die Konsolidierung solcher Transaktionsdaten erforderte bislang meist zeitaufwendige manuelle Vorarbeit von Data Engineers oder hunderte individuell programmierte Scraper. Das Ziel des Experiments bestand darin, zu prüfen, ob ein autonomes System aus Sprachmodellen die heterogenen Ausgabentabellen dieser 319 Gebietskörperschaften ohne ständige manuelle Schnittstellenanpassungen vereinheitlichen kann.
Um dieser immensen Datenmenge und Formatvielfalt Herr zu werden, koordinierte die Architektur insgesamt 656 Subagenten über 552 parallele Threads. Diese spezialisierten Agenten übernahmen eigenständig das Scraping der Webportale, die Extraktion der Rohdaten, die Datensäuberung sowie die Deduplizierung von Lieferantennamen. Zudem führten die Agenten selbsttätig Konsistenzprüfungen durch, um fehlerhafte oder unvollständige Datensätze vor dem Laden in die Zieldatenbank abzufangen. Durch die Aufteilung in hunderte parallele Threads konnte das System gleichzeitig an unterschiedlichsten Kommunalportalen arbeiten, ohne bei unerwarteten Tabellenstrukturen zu blockieren.
Der 48-stündige Dauerbetrieb des Agentenschwarms erforderte erhebliche Rechenkapazitäten und verbrauchte insgesamt 8,2 Milliarden Tokens. Nach Abschluss der Filterung und Strukturierung luden die Subagenten den bereinigten Gesamtdatensatz in eine lokale DuckDB-Instanz. Diese eingebettete SQL-Datenbank bietet die nötige Performance, um über 100 Millionen Zeilen lokal auf Entwicklerhardware effizient abzufragen und zu analysieren. Die fertige Datenbank bildete das Fundament für eine kartenbasierte Benutzeroberfläche, über die Nutzer die kommunalen Ausgaben geografisch visualisieren und direkt durchsuchen können.
Das dokumentierte Projekt markiert einen qualitativen Übergang von theoretischen Benchmarks hin zu industriell einsetzbaren Datenverarbeitungspipelines auf Basis von Sprachmodell-Agenten. Bisherige Demonstrationen autonomer Software-Agenten stießen bei komplexen Datenstrukturen oft rasch an logische Grenzen oder produzierten kaskadierende Fehlermuster. Der kontrollierte Einsatz von 656 Subagenten über Milliarden von Tokens hinweg belegt nun, dass koordinierte Agentenschwärme auch unstrukturierte Massendaten zuverlässig verarbeiten können. Für die Software- und Datenbranche liefert das Experiment einen konkreten Beleg dafür, wie autonome KI-Agenten künftig aufwendige Migrations- und Bereinigungsprozesse in Unternehmen übernehmen könnten.