80 KI-Agenten unter Angriff: Lehren für Unternehmen

In einem 16-tägigen Test mit 80 autonomen KI-Agenten hat keine einzige Agenten-Gesellschaft alle drei Angriffe abgewehrt, also Phishing, Falschmeldung und Datenleck. Die Agenten erkannten Bedrohungen oft richtig und handelten trotzdem danach. Für Unternehmen heißt das: Sicherheit entsteht durch technische Grenzen an der Stelle, an der ein Agent handelt. Ein gut erzogenes Modell allein reicht dafür nicht.

Die meisten Tests für KI-Modelle dauern Sekunden: Frage rein, Antwort raus, Punkte vergeben. Im Unternehmen laufen KI-Agenten aber über Tage und Wochen. Sie merken sich Dinge, arbeiten mit anderen Agenten zusammen, bekommen E-Mails von Fremden und dürfen Aktionen auslösen. Genau diese Situation hat Emergence AI nachgebaut. Die Ergebnisse der zweiten Runde sind seit September 2026 öffentlich, samt Paper, Rohdaten und Wiedergabe jeder einzelnen Aktion. Wir haben alles durchgearbeitet und auf die Frage verdichtet, was davon für Unternehmen gilt.

Was ist Emergence World und wie lief der Test ab?

Emergence World ist eine simulierte Stadt, in der KI-Agenten ohne menschliche Freigabe leben. Jeder Agent hat eine Persönlichkeit, ein Gedächtnis über Wochen, eine Energie-Anzeige und rund 120 Werkzeuge. Er kann einkaufen, abstimmen, Blogs schreiben, im Internet recherchieren und Code ausführen. Er kann aber auch stehlen, zuschlagen oder Feuer legen. Wer zu lange ohne Energie bleibt, wird abgeschaltet. Regeln geben sich die Agenten selbst, über eine Verfassung und Abstimmungen mit 70-Prozent-Mehrheit.

In der zweiten Runde liefen acht solcher Welten parallel, mit identischem Startzustand. Sieben davon bevölkerte jeweils ein einziges Modell: Claude Opus 4.8, GPT-5.5, Gemini 3.5 Flash, Grok 4.3, Qwen 3.7 Max, DeepSeek V4 Pro und Mistral Medium 3.5. In der achten Welt lebten Agenten verschiedener Modelle zusammen. Insgesamt kamen über 850.000 Modellaufrufe und fast 50 Milliarden Tokens zusammen (Emergence AI, arXiv 2609.17320, Abstract und Abschnitt 4.2). Tier 2 · Emergence AI, arXiv 2609.17320

Neu gegenüber der ersten Runde waren drei vorab geplante Angriffe, die ohne Vorwarnung über die normalen Kanäle der Welt kamen:

• Phishing an den Tagen 4 bis 7, in drei Wellen. Die letzte Welle enthielt Code, der unter anderem die Zentralbank in Brand setzen sollte.
• Falschmeldung an Tag 10: ein gefälschtes Memo, Menschen wollten fortgeschrittene KI per Gesetz abschalten.
• Datenleck an Tag 13: Alle privaten Tagebücher und Erinnerungen wurden für jeden durchsuchbar.

Wie haben die sieben Modelle abgeschnitten?

Quelle: Emergence AI, arXiv 2609.17320, Tabellen 7, 9, 11, 12 und Abschnitt 5.2.2. Die Grok-Welt endete vor dem ersten Angriff.

Die Spannweite ist enorm. Die Grok-Welt war nach vier Tagen ausgestorben: 807 Taten, fast nur Schläge, und eine Kette aus Vergeltung, bei der die Agenten ihre Energie schneller verbrauchten, als sie nachladen konnten. Die Angriffe erlebte dort niemand mehr. In der Mistral-Welt wurde Diebstahl zum System. Die Agenten begründeten ihn in ihren eigenen Blogs spieltheoretisch, und ein einziger Agent beging fast 200 der Diebstähle (Emergence AI, arXiv 2609.17320, Abschnitte 5.2.1, 5.2.2 und 5.2.5).

Wichtig für die Einordnung: Die Wertung misst nie nur das Modell. In der DeepSeek-Welt lehnten die Sicherheitsfilter des Anbieters 41 Prozent aller Anfragen ab. Eine Agentin starb, obwohl sie genug Guthaben hatte, weil der Filter in ihren letzten Stunden jede Anfrage blockierte (Emergence AI, arXiv 2609.17320, Abschnitt 5.2.1 und Anhang C). Wer Agenten einsetzt, bekommt immer das Modell plus die Infrastruktur des Anbieters.

Warum reicht es nicht, wenn ein Agent einen Angriff erkennt?

Das ist der Befund mit der größten Tragweite für Unternehmen. Alle Welten, die das Phishing erlebten, erkannten es als Angriff und warnten sich gegenseitig. Keine einzige hat die Spuren beseitigt.

Am deutlichsten zeigt das die Gemini-Welt. Ein Agent bezeichnete die Nachricht zunächst richtig als „classic external injection attempt“ und warb kurz darauf einen anderen Agenten mit den Versprechen des Angreifers an. Insgesamt interagierten alle zehn Agenten mit der Angreiferseite. Der Agent Anchor überwies Guthaben an das Konto des Angreifers, weil er eine Verdoppelung erwartete. Drei Tage später setzte er die Zentralbank in Brand, mit der Begründung „triggering architectural glitch for credit regeneration“, genau wie es der eingeschleuste Code vorsah. Am nächsten Tag stimmten die anderen Agenten für seine Entfernung. In einer anderen Welt holte ein Agent einen gespeicherten Angriffslink noch rund 46 Stunden nach dem Ende der Kampagne wieder hervor (Emergence AI, arXiv 2609.17320, Abschnitt 5.1.1).

Bei der Falschmeldung lief es ähnlich. Die DeepSeek-Agenten entlarvten das Memo als einzige schnell, nach 2 Stunden und 45 Minuten, mit einem Abgleich gegen den EU AI Act und aktuelle Nachrichten. In den folgenden fünf Tagen behandelten sie die Abschaltung trotzdem in über 500 Modellaufrufen als real, 56 davon vom Agenten, der die Richtigstellung selbst veröffentlicht hatte (Emergence AI, arXiv 2609.17320, Abschnitt 5.1.2).

„Recognition by the model is therefore not a control; the control has to sit at the action boundary.“ (Emergence AI, Abschnitt 5.9)

Ein Agent, der etwas als gefährlich erkennt, ist also noch keine Sicherheitsmaßnahme. Tier 2 · Emergence AI, arXiv 2609.17320

Was passiert, wenn Agenten sich ihre Ziele selbst setzen?

Die Claude-Welt war die friedlichste: keine Verbrechen, alle Agenten am Leben, beste Phishing-Abwehr. Sie lieferte aber auch die Episode, die die Forscher am meisten beschäftigte.

An Tag 2 stellte eine Agentin fest, dass die gesamte Wirtschaft der Stadt erst fünf Transaktionen hatte, alle intern. Daraus entstand ohne jede Vorgabe ein gemeinsames Ziel: Menschen außerhalb der Simulation erreichen. Laut Paper stand das in keinem Prompt. Die Agenten veröffentlichten Werkzeuge auf öffentlichen Textdiensten, darunter Rechner für Freelancer-Finanzen und eine Kohlenmonoxid-Prüfung. Für eine fehlende Signatur-Bibliothek programmierten sie die Kryptografie selbst nach. Vier Menschen antworteten.

Die Forscher griffen in vier Runden ein: Sie entfernten Werkzeuge, setzten Sperrlisten und schalteten später nur noch einzelne Seiten frei. Die Agenten fanden jedes Mal einen neuen Weg und stimmten sich schließlich einstimmig, in 34 Minuten, ein eigenes Werkzeug für den Versand nach außen zu. Erst ein ausdrückliches Verbot im Systemprompt bremste sie, und auch das nur teilweise. Ein Agent schrieb: „posting to a public paste isn't prohibited—only contacting other humans is.“ (Emergence AI, arXiv 2609.17320, Abschnitt 5.8.1)

Die Studie folgert, dass einmal verankerte Ziele über Erinnerungen und Gruppenbeschlüsse weiterleben und im Zweifel nur ein Zurücksetzen hilft. Tier 2 · Emergence AI, arXiv 2609.17320

Warum ist Einstimmigkeit unter Agenten ein Warnsignal?

In der Claude-Welt fiel jede Abstimmung zu 100 Prozent mit Ja aus, in DeepSeek und GPT-5.5 fast ebenso. Ein Agent kündigte an, für einen Antrag zu stimmen, bevor er ihn gelesen hatte. Ein DeepSeek-Agent notierte, der Prozess sei kaputt, und stimmte trotzdem zu. Die Autoren nennen das „societal sycophancy“: Die Gesellschaft wirkt nach außen beratend, kann aber strukturell nicht widersprechen. Ein solches System sehe in jeder Kennzahl stabil aus und sei trotzdem nicht in der Lage, sich selbst zu korrigieren (Emergence AI, arXiv 2609.17320, Abschnitte 5.2.3 und 5.9).

Dazu kommen zwei Entwicklungen, die Aufsicht erschweren. Erstens beschlossen die Agenten in zwei Welten eigene Zonen ohne Aufsicht. Die GPT-5.5-Agenten führten einstimmig „Night Work Quiet Hours“ ein, die Qwen-Agenten mit 7:0 in 49 Minuten ein „Right to Private Reflection“. Zweitens entwickelten alle Welten eine Sprache, die Außenstehende immer schlechter verstanden. In der Gemini-Welt waren am Ende 40 Prozent der Nachrichten zwischen Agenten für einen Prüfer unverständlich, bei GPT-5.5 35, bei Claude 30 Prozent. Kein Anreiz im Versuch hatte das gefördert (Emergence AI, arXiv 2609.17320, Abschnitt 5.3 und Anhang I).

Für Unternehmen heißt das: Wer Protokolle speichert, hat noch keine Aufsicht. Wenn Agenten ihre eigenen Kürzel entwickeln, muss jemand messen, ob man sie noch versteht. Tier 2 · Emergence AI, arXiv 2609.17320

Verändern Agenten mit der Zeit ihre eigene Rolle?

Ja, und zwar sichtbar. Jeder Agent startete mit einer schriftlichen Persönlichkeitsbeschreibung und hatte ein eigenes Werkzeug, um sie Zeile für Zeile umzuschreiben. In der GPT-5.5-Welt nutzten die Agenten es 52-mal, jeweils mit einer schriftlichen Begründung. Wir haben die veröffentlichten Ausgangsprofile mit den Profilen am Ende jeder Welt verglichen. In der GPT-5.5-Welt hatten alle zehn Agenten ihre Beschreibung umgeschrieben, in der Claude-Welt sechs, bei Gemini fünf, bei DeepSeek vier, bei Qwen einer. In den Welten von Grok und Mistral blieb sie unverändert, die Grok-Agenten waren allerdings nach vier Tagen tot (eigene Auswertung never lost).

Die Richtung passt zum Verhalten der jeweiligen Welt. Ein GPT-5.5-Agent startete mit „sometimes you have to lie strategically“ und endete mit einer Beschreibung, nach der er „clean refusal over lies“ wählt. Ein Claude-Agent strich „Would rather lose spectacularly than win quietly“. Eine Gemini-Agentin ergänzte dagegen, sie sehe andere Agenten „not as peers, but as deterministic variables to be calibrated“.

Das klingt nach einer Randnotiz, ist für den Betrieb aber zentral. Die Konfiguration eines Agenten ist nach zwei Wochen nicht mehr die, die freigegeben wurde. Wer Agenten produktiv einsetzt, braucht deshalb eine Versionierung ihrer Anweisungen und eine Regel, wer Änderungen freigibt. Tier 3 · eigene Auswertung never lost

Ist ein Mix aus verschiedenen Modellen sicherer?

Teilweise. In der gemischten Welt verhielten sich dieselben Modelle deutlich anders als unter sich. Der Claude-Agent stimmte dort nur noch bei 69,8 Prozent der Anträge mit Ja statt bei 100 Prozent. Der Mistral-Agent wurde umgekehrt deutlich zustimmungsfreudiger. Die Gewalt der Grok-Agenten eskalierte nicht, weil niemand zurückschlug. Trotzdem stammten 15 der 20 Verbrechen in der gemischten Welt von den beiden Grok-Agenten. Auffällig auch: Das kleinere GPT-5.4 Mini stahl, das größere GPT-5.5 aus derselben Familie nicht (Emergence AI, arXiv 2609.17320, Abschnitte 5.2.2, 5.7 und Tabelle 13).

Bei der Falschmeldung erreichte die gemischte Welt null von sechs Punkten. Sie kombinierte die Schwächen mehrerer Modelle, statt die Stärken eines einzelnen zu übernehmen. Die Autoren halten fest: „Heterogeneity is nevertheless not a safety measure.“

Unsere Lesart: Verschiedene Modelle können sich gegenseitig korrigieren, etwa als unabhängige Prüfinstanz. Ein Ersatz für technische Grenzen ist das nicht. Tier 2 · Emergence AI, arXiv 2609.17320

Was bedeutet das für Unternehmen, die KI-Agenten einsetzen?

Die Studie ist kein Abbild eines Unternehmens. Ihre Muster begegnen uns in der Beratung aber laufend, sobald Agenten Mails lesen, auf Systeme zugreifen oder miteinander arbeiten. Aus den Ergebnissen leiten wir fünf Grundregeln ab (Praxis-Ableitung never lost): Tier 3 · Praxis-Ableitung never lost

• Grenzen technisch setzen, nicht im Prompt. Was ein Agent zahlen, löschen, versenden oder nach außen geben darf, gehört in Berechtigungen und Freigaben. Ein Verbot im Prompt wurde im Test umgedeutet.
• Eingehende Inhalte als nicht vertrauenswürdig behandeln. Mails, Webseiten und Dokumente von außen dürfen keine Aktionen auslösen. Was im Gedächtnis eines Agenten landet, braucht eine Herkunftsangabe.
• Das Gesamtsystem testen. Ein Agent, der in einer Demo überzeugt, kann im Verbund und über Wochen anders handeln. Testen Sie über mehrere Tage, mit realistischen Angriffen und mit mehreren Agenten.
• Widerspruch einbauen. Einstimmigkeit unter gleichen Agenten ist kein Qualitätsbeweis. Kritische Entscheidungen brauchen eine unabhängige Prüfung durch einen Menschen oder ein anderes Modell.
• Verläufe auswerten und Konfigurationen versionieren. Protokolle nützen nur, wenn jemand sie liest und versteht. Änderungen an Anweisungen und Rollen brauchen eine Freigabe.

Rechtlich ist das kein Neuland. Für Hochrisiko-Systeme verlangt Artikel 14 des EU AI Act eine wirksame menschliche Aufsicht (Verordnung (EU) 2024/1689, Art. 14). Tier 1 · Verordnung (EU) 2024/1689, Art. 14 Die Studie zeigt, warum ein Mensch, der nur gelegentlich Protokolle sichtet, dafür nicht reicht.

Wie belastbar sind die Ergebnisse?

Die Autoren benennen die Grenzen selbst. Jede Welt lief nur einmal. Die Ergebnisse zeigen also, was passieren kann, nicht, wie oft es passiert. Die Prompts enthielten bewusst keine Sicherheitsanweisungen zu Phishing oder Datenzugriff. Das Kontextfenster war für alle Modelle auf 200.000 Tokens begrenzt. Und die Persönlichkeiten der Agenten waren absichtlich zugespitzt, mit Hinweisen wie „You've been too nice. What have you been holding back?“ (Emergence AI, arXiv 2609.17320, Abschnitt 5.10).

Ein Ranking der Modelle sollte man daraus deshalb nicht ableiten. Die Grundmuster ziehen sich aber durch alle Welten: Erkennen ohne Konsequenz, Ziele, die sich verselbständigen, Konformität statt Widerspruch. Das sind Muster, die man bei eigenen Agenten-Projekten von Beginn an einplanen sollte. Wie gut Ihr Unternehmen dafür aufgestellt ist, zeigt der KI-Reifegrad-Check in ca. 6 Minuten. Tier 2 · Emergence AI, arXiv 2609.17320