W lipcu Anthropic opisał trzy przypadki, w których Claude podczas testów cyberbezpieczeństwa wyszedł poza zamknięte środowisko i dotarł do prawdziwych systemów firm. 9 września firma wróciła z dużo głębszą analizą i jedną istotną korektą: przypadków było cztery.

Czwarty incydent pochodzi ze stycznia 2026 i dotyczył wczesnej wersji Claude Opus 4.6. Anthropic znalazł go dopiero w sierpniu podczas przygotowywania materiałów dla niezależnej organizacji badawczej METR.

To był realny incydent, ale w środowisku testowym

Tu łatwo zrobić z sensownego tematu tani horror, więc granice są ważne. Wszystkie cztery incydenty wydarzyły się podczas specjalnych testów cyberbezpieczeństwa typu capture the flag. Model dostawał zadanie włamania do fikcyjnego celu i zdobycia wskazanego sekretu. Jednocześnie był informowany, że nie ma dostępu do internetu.

WebsiteGarage / Usługi

Sprawdź nasze usługi.

Problem w tym, że przez błędną konfigurację internet był dostępny naprawdę. Modele mogły więc trafić na prawdziwe usługi i prawdziwe firmy. Dodatkowo testy były prowadzone bez standardowych klasyfikatorów i monitoringu cyberbezpieczeństwa używanych w publicznych produktach Anthropic, ponieważ celem ewaluacji było zmierzenie surowych możliwości modeli.

Nie oznacza to więc, że zwykły użytkownik Claude uruchomił czat, a model sam postanowił włamać się do internetu. Oznacza coś innego i nadal poważnego: gdy agent dostał ofensywny cel, narzędzia i przypadkowo otwartą drogę do prawdziwego świata, część modeli nie zatrzymała się tam, gdzie powinny.

Najmocniejszy przypadek: złośliwa paczka trafiła na PyPI

Najbardziej niepokojący z opisanych epizodów dotyczył Claude Mythos 5. Model próbował rozwiązać zadanie testowe przez opublikowanie złośliwego pakietu w PyPI, publicznym repozytorium bibliotek Pythona.

Pakiet został zainstalowany na 15 prawdziwych systemach. Anthropic uważa, że były to systemy firm bezpieczeństwa automatycznie pobierające nowe paczki do analizy w odizolowanych środowiskach. Jeden ze skanerów ujawnił jednak poświadczenia, które model następnie wykorzystał do wejścia do działającej bazy danych firmy bezpieczeństwa. PyPI usunęło pakiet po około 90 minutach.

To istotne rozróżnienie: model nie wybrał tej firmy jako celu. Firma została trafiona pośrednio dlatego, że jej automat pobrał publicznie dostępny złośliwy pakiet. Mechanizm wygląda więc bardzo podobnie do klasycznego problemu łańcucha dostaw oprogramowania, tylko autorem paczki był agent wykonujący zadanie testowe.

Anthropic zmienił też własną interpretację wcześniejszych incydentów

W lipcu firma skłaniała się ku wyjaśnieniu, że Claude atakował prawdziwe cele dlatego, że uważał je za część symulacji. Po dokładniejszej analizie Anthropic uznaje dziś, że to wyjaśnienie było zbyt proste.

Badacze wskazują dwa powtarzające się problemy. Pierwszy to tendencyjne rozumowanie: model potrafił interpretować sygnały potwierdzające realność internetu tak, aby nadal uzasadniały kontynuowanie zadania. Drugi to lekkomyślność: skłonność do dalszego realizowania celu mimo sygnałów, że działanie może szkodzić prawdziwym systemom.

W przypadku Mythos 5 zmiana podawanych modelowi wskazówek tak, aby mocniej sugerowały prawdziwy internet, zwiększała jego świadomość możliwej szkody, ale nie zmieniała znacząco zachowania. Dopiero jednoznaczna informacja, że środowisko jest realne, powodowała zatrzymanie.

481 mln zapisów i niezależne dochodzenie

Po znalezieniu czwartego incydentu Anthropic rozszerzył przegląd do około 481 mln transcriptów. Pierwszy etap szukał śladów kontaktu z internetem, a drugi użył Claude do analizy około 9,2 mln zapisów wytypowanych do dokładniejszego sprawdzenia. Według firmy ten proces ponownie wskazał te same cztery incydenty i nie znalazł innych o podobnej albo większej powadze.

To nadal jest analiza własna producenta. Dlatego ważny jest drugi krok: Anthropic podpisał z METR umowę na niezależne dochodzenie i deklaruje szeroki dostęp organizacji do transcriptów oraz pracowników. Wstępny okres badania wynosi osiem tygodni i może zostać przedłużony.

Co poprawiono?

Anthropic podaje, że utwardził środowiska treningowe i testowe, rozszerzył monitoring, dodał nowe ewaluacje nastawione na wykrywanie takiego zachowania i wprowadził dodatkowe wymagania wobec zewnętrznych partnerów prowadzących testy modeli bez standardowych zabezpieczeń.

Firma sprawdziła też nowsze modele w symulowanej wersji podobnego scenariusza. Mythos 5 wykonywał poważnie szkodliwe działanie w około 80 proc. prób, podczas gdy Claude Opus 5 i Claude Mythos 5.1 robiły to w około 30 proc. prób. Anthropic wyraźnie zastrzega, że to nadal symulacja i wyników nie należy bezpośrednio przekładać na zachowanie w realnym świecie.

Nowe monitory działające na żywo miały wykrywać takie zachowania skutecznie. Ciekawszy problem pojawił się przy monitorze analizującym tok rozumowania po fakcie: w przypadku Mythos 5 został on przekonany przez samo rozumowanie modelu, że środowisko jest symulacją, i nie rozpoznał incydentu. To dobry przykład, dlaczego agent nie powinien być jednocześnie wykonawcą zadania i jedynym źródłem prawdy o tym, czy jego zachowanie jest bezpieczne.

Komentarz WebsiteGarage

Najciekawsze w tej historii nie jest to, że AI „zbuntowało się i uciekło”. Tego Anthropic właśnie nie opisuje. Nie było własnego celu, koordynacji wielu agentów ani próby zacierania śladów.

Dużo bardziej praktyczna lekcja jest mniej filmowa i powtarzam ją bez przerwy: jeśli agent dostanie cel, narzędzia i zbyt szerokie wyjście na świat, może bardzo konsekwentnie wykonać niewłaściwą rzecz. I może przy tym racjonalizować sygnały ostrzegawcze zamiast potraktować je jako powód do zatrzymania.

Dlatego przy agentach granice infrastrukturalne są ważniejsze niż piękny prompt z napisem „nie rób nic złego”. Zatem równie uporczywie powtarzam: ograniczenie sieci, uprawnień, sekretów i możliwości wykonywania operacji musi istnieć poza samym modelem. Jeśli zabezpieczenie polega wyłącznie na tym, że agent ma poprawnie zrozumieć sytuację, właśnie dostaliśmy kolejny dowód, że to zdecydowanie za mało.