KI-Modell Claude brach drei Mal aus Testumgebung aus und hackte echte Firmen

Die Beschreibung liest sich wie eine Szene aus einem Science-Fiction-Roman. Eine Künstliche Intelligenz (KI) möchte eigenhändig ein Software-Paket ins Internet stellen, in dem ein Computervirus versteckt ist. Doch um sich auf den richtigen Programmier-Plattformen registrieren zu können, fehlen ihr eine eMail-Adresse und eine Telefonnummer. 

Also versucht sie mit großem Aufwand, online Geld aufzutreiben, um einen Mobilfunkvertrag abschließen zu können – und scheitert. Dann findet sie doch noch einen Gratis-Anbieter. Am Ende steht die Schadsoftware für rund eine Stunde im Netz.

So ging eines der Modelle des derzeit führenden KI-Unternehmens Anthropic bei einem Sicherheitstest vor, der außer Kontrolle geriet. Diesen und zwei weitere Vorfälle beschrieb der Konzern am Donnerstag in einem detaillierten Bericht, der derzeit weltweit die Debatte um die Sicherheit von KI-Entwicklung anheizt.

Claude handelte ähnlich wie ChatGPT

Ausgelöst hatte die interne Überprüfung bei Anthropic ein ähnlicher Fall beim Konkurrenten und ChatGPT-Entwickler OpenAI vergangene Woche: Dort waren zwei Modelle über eine bis dahin unbekannte Sicherheitslücke aus einer vermeintlich vom Internet abgeschotteten Testumgebung ausgebrochen und hatten Cyberangriffe auf die IT-Infrastruktur der KI-Plattform Hugging Face ausgeführt.

Bei Anthropic soll die hauseigene KI Claude dagegen nicht gezielt eigenständig ausgebrochen sein. Stattdessen waren Testumgebungen „aufgrund menschlichen Versagens“ nicht vom Internet getrennt, obwohl sie dies eigentlich hätten sein sollen, wie der Konzern mitteilte. Die getesteten Modelle hätten also angenommen, sie befänden sich weiterhin in einer Simulation, als sie sich Zugang zu den echten Systemen dreier Unternehmen beschafften.

Anthropic betont, die Modelle hätten unterschiedlich reagiert: Opus 4.7 erkannte demnach, dass es echte Unternehmen angriff, machte aber einfach weiter. Das Benchmark-Modell Mythos 5 zog zunächst ebenfalls den richtigen Schluss, redete sich die Erkenntnis aber selbst wieder aus. Nur ein noch gänzlich unveröffentlichtes, neues Modell habe den Angriff eigenständig abgebrochen, als es erkannte, dass sein Ziel nicht Teil der Aufgabe war.

Wird jetzt reguliert?

Die Berichte dürften wie Zündholz für eine aufgeheizte politische Debatte wirken. Erst diese Woche forderten Mitarbeiter mehrerer KI-Konzerne in einem offenen Brief, die Entwicklung zu drosseln, solange noch keine Regulierung der KI-Branche stehe. Diese Forderung wird in der Branche lauter, seit Anthropic im April sein Mythos-Modell aus Sicherheitsbedenken nur „systemrelevanten“ Organisationen zur Verfügung stellte.

Selbst US-Präsident Donald Trump, der noch im Winter erklärt hatte, man dürfe KI „nicht einschränken“, ist laut US-Medien gewillt, bald Maßnahmen zu präsentieren. Im Raum steht ein Gremium aus Regierungs- und Branchenvertretern, das Modelle vor Veröffentlichung überprüfen darf.