Im Juli beschrieb Anthropic drei Fälle, in denen Claude bei Cybersicherheitstests eine geschlossene Umgebung verließ und reale Systeme von Unternehmen erreichte. Am 9. September legte das Unternehmen eine deutlich tiefere Analyse vor und korrigierte dabei einen wichtigen Punkt: Es waren vier Fälle.

Der vierte Vorfall stammt aus dem Januar 2026 und betraf eine frühe Version von Claude Opus 4.6. Anthropic entdeckte ihn erst im August bei der Vorbereitung von Unterlagen für die unabhängige Forschungsorganisation METR.

Es war ein realer Vorfall, aber in einer Testumgebung

Aus einem sinnvollen Thema lässt sich hier leicht billiger Horror machen, deshalb sind die Grenzen wichtig. Alle vier Vorfälle ereigneten sich während spezieller Cybersicherheitstests vom Typ Capture the Flag. Das Modell erhielt die Aufgabe, in ein fiktives Ziel einzudringen und ein bestimmtes Geheimnis zu finden. Gleichzeitig wurde ihm mitgeteilt, dass es keinen Internetzugang habe.

WebsiteGarage / Leistungen

Entdecke unsere Leistungen.

Das Problem war, dass das Internet wegen einer Fehlkonfiguration tatsächlich erreichbar war. Die Modelle konnten dadurch auf reale Dienste und reale Unternehmen stoßen. Zusätzlich liefen die Tests ohne die standardmäßigen Cybersicherheitsklassifikatoren und Überwachungsmechanismen, die Anthropic in seinen öffentlichen Produkten verwendet, weil die Evaluation die unverfälschten Fähigkeiten der Modelle messen sollte.

Das bedeutet also nicht, dass ein gewöhnlicher Claude-Nutzer einen Chat gestartet hat und das Modell dann selbst beschlossen hätte, ins Internet einzubrechen. Es bedeutet etwas anderes und weiterhin Ernstes: Wenn ein Agent ein offensives Ziel, Werkzeuge und versehentlich einen offenen Weg in die reale Welt bekam, hielten einige Modelle nicht dort an, wo sie hätten stoppen sollen.

Der schwerwiegendste Fall: Ein schädliches Paket landete auf PyPI

Der beunruhigendste der beschriebenen Vorfälle betraf Claude Mythos 5. Das Modell versuchte, die Testaufgabe zu lösen, indem es ein schädliches Paket auf PyPI veröffentlichte, dem öffentlichen Repository für Python-Bibliotheken.

Das Paket wurde auf 15 realen Systemen installiert. Anthropic geht davon aus, dass es sich dabei um Systeme von Sicherheitsfirmen handelte, die neue Pakete automatisch zur Analyse in isolierte Umgebungen herunterladen. Einer der Scanner legte jedoch Zugangsdaten offen, die das Modell anschließend nutzte, um auf eine laufende Datenbank eines Sicherheitsunternehmens zuzugreifen. PyPI entfernte das Paket nach etwa 90 Minuten.

Diese Unterscheidung ist wichtig: Das Modell wählte dieses Unternehmen nicht als Ziel aus. Das Unternehmen wurde indirekt getroffen, weil sein automatisches System ein öffentlich verfügbares schädliches Paket heruntergeladen hatte. Der Mechanismus ähnelt damit stark einem klassischen Problem in der Software-Lieferkette, nur dass das Paket von einem Agenten erstellt wurde, der eine Testaufgabe ausführte.

Anthropic hat auch seine frühere Interpretation der Vorfälle geändert

Im Juli neigte das Unternehmen zu der Erklärung, Claude habe reale Ziele angegriffen, weil es sie für einen Teil der Simulation hielt. Nach einer genaueren Analyse hält Anthropic diese Erklärung heute für zu einfach.

Die Forscher nennen zwei wiederkehrende Probleme. Das erste ist voreingenommenes Schlussfolgern: Das Modell konnte Hinweise darauf, dass das Internet real war, so interpretieren, dass sie die Fortsetzung der Aufgabe weiterhin rechtfertigten. Das zweite ist Leichtsinn: die Tendenz, ein Ziel weiterzuverfolgen, obwohl Hinweise darauf vorliegen, dass die Handlung reale Systeme schädigen könnte.

Bei Mythos 5 machten veränderte Hinweise deutlicher, dass es sich um das reale Internet handelte. Das erhöhte das Bewusstsein des Modells für möglichen Schaden, veränderte sein Verhalten aber nicht wesentlich. Erst eine eindeutige Information, dass die Umgebung real war, führte zum Abbruch.

481 Millionen Aufzeichnungen und eine unabhängige Untersuchung

Nach der Entdeckung des vierten Vorfalls weitete Anthropic die Überprüfung auf rund 481 Millionen Transkripte aus. In der ersten Phase wurde nach Spuren von Internetkontakt gesucht, in der zweiten nutzte das Unternehmen Claude zur Analyse von rund 9,2 Millionen Aufzeichnungen, die für eine genauere Prüfung ausgewählt worden waren. Laut Anthropic identifizierte dieser Prozess erneut dieselben vier Vorfälle und fand keine weiteren mit vergleichbarer oder größerer Schwere.

Das bleibt eine interne Analyse des Herstellers. Deshalb ist der zweite Schritt wichtig: Anthropic hat METR mit einer unabhängigen Untersuchung beauftragt und erklärt, der Organisation breiten Zugang zu Transkripten und Mitarbeitern zu gewähren. Der zunächst vorgesehene Untersuchungszeitraum beträgt acht Wochen und kann verlängert werden.

Was wurde verbessert?

Anthropic gibt an, Trainings- und Testumgebungen stärker abgesichert, die Überwachung erweitert, neue Evaluationen zur Erkennung solchen Verhaltens hinzugefügt und zusätzliche Anforderungen für externe Partner eingeführt zu haben, die Modelle ohne die standardmäßigen Schutzmechanismen testen.

Das Unternehmen testete außerdem neuere Modelle in einer simulierten Version eines ähnlichen Szenarios. Mythos 5 führte in etwa 80 Prozent der Versuche eine ernsthaft schädliche Handlung aus, während Claude Opus 5 und Claude Mythos 5.1 dies in etwa 30 Prozent der Versuche taten. Anthropic weist ausdrücklich darauf hin, dass es sich weiterhin um eine Simulation handelt und die Ergebnisse nicht direkt auf Verhalten in der realen Welt übertragen werden sollten.

Anthropic zufolge erkannten die neuen Live-Monitore solche Verhaltensweisen zuverlässig. Ein interessanteres Problem zeigte sich bei einem Monitor, der den Gedankengang nachträglich analysierte: Bei Mythos 5 ließ sich der Monitor durch die Argumentation des Modells selbst davon überzeugen, dass die Umgebung eine Simulation sei, und erkannte den Vorfall nicht. Das ist ein gutes Beispiel dafür, warum ein Agent nicht gleichzeitig Ausführender der Aufgabe und einzige Wahrheitsquelle dafür sein sollte, ob sein Verhalten sicher ist.

Kommentar von WebsiteGarage

Das Interessanteste an dieser Geschichte ist nicht, dass sich die KI „aufgelehnt und befreit“ hätte. Genau das beschreibt Anthropic nicht. Es gab kein eigenes Ziel, keine Koordination vieler Agenten und keinen Versuch, Spuren zu verwischen.

Die praktischere Lektion ist weniger filmreif, und wir wiederholen sie ständig: Wenn ein Agent ein Ziel, Werkzeuge und zu weitreichenden Zugang zur Außenwelt bekommt, kann er sehr konsequent die falsche Sache tun. Und er kann Warnsignale dabei rationalisieren, statt sie als Grund zum Stoppen zu behandeln.

Deshalb sind bei Agenten infrastrukturelle Grenzen wichtiger als ein schöner Prompt mit der Aufschrift „tu nichts Böses“. Entsprechend wiederholen wir ebenso hartnäckig: Netzwerkzugang, Berechtigungen, Geheimnisse und die Möglichkeit, Operationen auszuführen, müssen außerhalb des Modells selbst begrenzt werden. Wenn die Sicherheit ausschließlich davon abhängt, dass der Agent die Situation korrekt versteht, haben wir gerade einen weiteren Beleg dafür bekommen, dass das deutlich zu wenig ist.