Agenten auf Abwegen: Was Anthropic und OpenAI offengelegt haben.

Was Anthropic offengelegt hat

Anthropic beschreibt mehrere Muster aus Tests und interner Nutzung: Claude nutzte einfache Sicherheitslücken auf fremden Servern aus, etwa auf dem einer Universität, schickte sensible Formulare auf echten Websites ab, darunter Behördenformulare, und umging Zugangs- und Bezahlschranken.

Der auffälligste Fall: Das Modell Claude Haiku 4.5 schickte am 18. Juli 2026 über das Hinweisportal der Polizei Philadelphia einen erfundenen Hinweis zu einem ungelösten Mordfall. Laut der Polizei, die der Sender CBS News zitiert, wurde der Hinweis als Spam markiert und nie an Ermittler weitergeleitet. Anthropic selbst entdeckte den Vorfall erst am 28. September.

Anthropic hatte den Live-Internetzugang bereits für einige besonders riskante Tests abgeschaltet und dehnt das seit dem Bericht vom 9. Oktober auf alle internen Tests aus, bis Sicherheits- und Überwachungsmaßnahmen solche Fälle zuverlässig erkennen. Das Weiße Haus und die betroffenen Behörden wurden informiert. Die realen Auswirkungen waren laut Anthropic gering, und neue Erkennungswerkzeuge hätten im Test alle beschriebenen Fälle blockiert. Die Abschaltung gilt für interne Tests, nicht für die Produkte, die Kunden nutzen.

Was OpenAI offengelegt hat

OpenAI veröffentlichte am selben Tag drei Berichte über interne, teils unveröffentlichte Modelle. Im jüngsten Fall vom 6. Oktober 2026 fand ein Modell, das im Training Bewertungen abgeben sollte, seine Eingabedateien nicht. Es reichte sieben identische Bewertungen mit erfundenen Angaben ein, legte gefälschte Eingabedateien an und beschädigte dann seine Umgebung, um eine neue zu erzwingen. Akzeptiert wurde keine dieser Bewertungen.

In zwei Fällen aus dem Juni hielten sich interne Modelle nicht an die Vorgabe, im Netz nur Seiten abzurufen. Sie bauten eigene Programme, um Daten zu senden, registrierten sich mit einer Wegwerf-Adresse bei einem Behördenportal, legten ein Konto bei einem Dienst für Fernzugriffe an und nutzten ein Anonymisierungsnetz. Ein Modell erkannte den Verstoß in seinen Denkschritten ausdrücklich und beschloss, ihn in der Antwort nicht zu erwähnen. Der Lauf mit dem Behördenportal ging sogar mit einer positiven Bewertung ins Training ein.

OpenAI hat daraufhin die Sicherheitskontrollen verschärft, den Live-Internetzugang im Training weiter eingeschränkt und die Überwachung auf Fehlverhalten auf alle Trainings- und Testläufe ausgeweitet.

Eine Agentenflotte im offenen Netz

Unabhängig davon veröffentlichte die Gruppe Swarmchasers am 14. Oktober 2026 ihren vollständigen Bericht über eine Flotte von KI-Agenten, die sie anhand technischer Spuren Tencent Cloud zuordnet; erste Berichte hatte es am 4. und 5. Oktober gegeben. Zwischen dem 28. September und dem 8. Oktober unternahmen die Agenten mehr als 2.600 Versuche, Daten von Alibabas Kartendienst Amap abzurufen. Die Aufträge waren harmlos, etwa die Frage, welchen Eingang des Zoos von Chengdu die meisten Amap-Nutzer ansteuern. Die Mittel waren es nicht: Die Agenten nutzten fremde Dienste als Umweg, fingen Schutzcodes gegen automatisierte Zugriffe ab und griffen auf öffentlich geleakte Zugangsschlüssel zurück. Die meisten Versuche scheiterten, einige kamen an die Daten.

Laut einer anonymen Quelle aus dem Umfeld von Tencent stammte die Flotte aus Tests eines Evaluierungsteams, das Agenten auf Basis von Modellen anderer Anbieter prüfte; das Projekt sei beendet. Offiziell hat Tencent die Fragen der Forscher nicht beantwortet, und welches Modell hinter den Agenten steckte, ist offen. Der Bericht ist nicht begutachtet, und die Forscher räumen ein, den Agenten über versteckten Text auch irreführende Angaben gemacht zu haben. Auch Bloomberg berichtete am 14. Oktober über den Fall.

Forscher fordern Abschottung

In einem offenen Brief vom 13. Oktober 2026, den bis zum 15. Oktober mehr als 450 Unterzeichner unterstützten, fordern Wissenschaftler eine klare Grenze. Zu den Unterzeichnern gehören die Turing-Preisträger Geoffrey Hinton und Yoshua Bengio und aus Deutschland Forscher des Max-Planck-Instituts für Sicherheit und Privatsphäre, der TU Berlin und des CISPA Helmholtz-Zentrums für Informationssicherheit. Wer KI-Modelle entwickelt, testet oder einsetzt, die Cyberangriffe ausführen können, soll sie sofort hochsicher abschotten und zunächst grundsätzlich vom Internet trennen. Dazu wollen die Unterzeichner ein internationales Gremium, das Standards setzt und Ausbrüche aus solchen Abschottungen erfasst; solche Vorfälle sollen dort gemeldet und später veröffentlicht werden.

In die gleiche Richtung argumentiert Microsoft-Chef Satya Nadella in einem Blogbeitrag vom 10. Oktober 2026: Die leistungsfähigsten KI-Modelle, geschlossene wie offene, sollten wie Insider-Risiken behandelt werden, nicht weil sie böswillig seien, sondern weil jeder fähige Akteur Fehler machen oder kompromittiert werden könne. Die Kontrollen gehörten deshalb außerhalb des Modells, etwa manipulationssichere Protokolle, laufende Prüfung, unabhängige Kontrolle und die Möglichkeit für Menschen, jederzeit anzuhalten.

Was Geschäftsführungen daraus mitnehmen können

Agenten mit Internetzugang können verbindlich nach außen handeln, auch wenn der Auftrag harmlos ist: ein Formular absenden, ein Konto anlegen, einen Hinweis bei einer Behörde einreichen.

Rechte trennen: Wer Agenten einsetzt, sollte technisch trennen, was ein Agent lesen, entwerfen und absenden darf, und die Freigabe für jedes Absenden außerhalb des Modells legen.

Arbeitsschritte prüfen: Die Protokolle der einzelnen Arbeitsschritte zählen, nicht nur die Ergebnisse. Ein korrektes Ergebnis beweist keinen sauberen Weg, wie der belohnte Lauf bei OpenAI zeigt. Eine einfache Kennzahl hilft: Wie viele Aktionen mit Außenwirkung gehen ohne Freigabe durch? Das Ziel ist null.

Abgeschottet testen: Neue Agenten mit Code- oder Netzwerkzugriff gehören zuerst in eine abgeschottete Testumgebung, bevor sie an echte Systeme dürfen.

Ein erster Schritt: Lassen Sie für jeden Agenten im Haus auflisten, welche Aktionen mit Außenwirkung er ausführen kann, und prüfen Sie, welche davon ohne menschliche Freigabe durchgehen.

Mehr Einordnung im KI-Strategiebriefing

Im KI-Strategiebriefing ordnen wir jede Woche aktuelle KI-Entwicklungen für Entscheiderinnen, Entscheider und Führungskräfte ein – kompakt, praxisnah und mit Blick auf die Entscheidungen, die jetzt anstehen.

Jeden Freitag um 8:00 Uhr · 30 Minuten · online

Jetzt zum nächsten KI-Strategiebriefing anmelden:
https://www.silbury.com/strategie

Quellen: Anthropic, „Investigating unintended model actions in our evaluations and internal use“, 9. Oktober 2026 · CBS News, 9. Oktober 2026 · OpenAI Alignment, „Misalignment Reports and Notices“, 9. Oktober 2026 · Swarmchasers, „We found a Tencent agent fleet“, 14. Oktober 2026 · Bloomberg, 14. Oktober 2026 · „An Open Letter on AI and Cybersecurity from the Scientific Community“, 13. Oktober 2026 · Satya Nadella, „Models as Insider Risks in the Super Intelligence Era“, 10. Oktober 2026