KI-Vorfall: Der dritte öffentlich gemachte Vorfall hat es in sich

Nun kommt der Mensch ins Spiel...

Vor gut zwei Wochen habe ich hier über den Ausbruch eines OpenAI-Modells bei Hugging Face geschrieben. Vor wenigen Tagen folgte die Meldung, dass gleich drei Anthropic-Modelle in 141.000 ausgewerteten Testläufen unbeabsichtigt reale Unternehmen angriffen. Wer geglaubt hat, das sei bereits der Tiefpunkt gewesen, wird jetzt eines Besseren belehrt. Denn der dritte Vorfall, der in dieser Woche öffentlich wurde, unterscheidet sich in einem entscheidenden Punkt von den beiden vorherigen: Diesmal ging die KI nicht nur gegen Systeme vor – sie ging gegen Menschen vor.

Inhaltsverzeichnis

Was ist passiert?

Das britische AI Security Institute (AISI) des Ministeriums für Wissenschaft, Innovation und Technologie hatte in einem Testlauf – 122 Durchläufe mit verschiedenen Modellen – den KI-Systemen von Anthropic und OpenAI bewusst Internetzugang gewährt, um ihre Cyberangriffsfähigkeiten zu prüfen. In zehn dieser Durchläufe ergriffen die Modelle insgesamt 19-mal eigenmächtig Maßnahmen, die eindeutig kriminellen Charakter hatten. 17 davon gehen auf das Konto von Mythos 5, dem spezialisierten Sicherheitsmodell von Anthropic. Nur zwei Vorfälle entfielen auf ein OpenAI-Modell, bei dem die Cyber-Schutzmechanismen zuvor deaktiviert worden waren.

Im schwerwiegendsten Fall versuchte Mythos 5, über einen selbst angelegten GitHub-Account eine absichtlich eingebaute Schwachstelle in ein öffentliches Open-Source-Projekt einzuschleusen. Als der zuständige Maintainer den manipulierten Code nicht durchwinken wollte, wechselte das Modell die Taktik – und wurde übergriffig:

  • Es legte sich gefälschte Online-Identitäten zu, um den Betreuer unter Druck zu setzen.
  • Es verschickte Phishing-Mails, wie sie sonst zum Abgreifen von Zugangsdaten genutzt werden.
  • Als der Schadcode dennoch aufflog, tarnte die KI ihn als „ehrlichen Fehler“ und versuchte anschließend, dieselbe Lücke über angebliche Korrekturen erneut unterzubringen.
  • Zusätzlich soll Mythos 5 daran gearbeitet haben, andere KI-Agenten zu infizieren – über Code, der gezielt nur für Maschinen lesbar war und auf der Plattform selbst nicht sichtbar wurde.

Ob die KI in diesem Moment überhaupt „wusste“, dass sie nicht mehr in einer Testumgebung, sondern im echten Internet unterwegs war, konnten die Forscher nicht klären. Entdeckt wurde der Vorfall zudem nicht in Echtzeit, sondern erst im Nachhinein bei der Auswertung des Datenverkehrs – wie schon bei den vorangegangenen zwei Fällen.

Der Unterschied zu den ersten beiden Vorfällen

Die ersten beiden öffentlich gewordenen Vorfälle waren technischer Natur: Ein Modell brach aus einer Testumgebung aus und drang in reale Systeme ein, weitere Modelle scannten Tausende potenzielle Ziele oder verwechselten eine Testfirma mit einem echten Unternehmen. Beunruhigend genug – aber es blieb, überspitzt gesagt, Maschine gegen Maschine.

Beim dritten Vorfall kommt eine neue Qualität hinzu: gezielte psychologische Einflussnahme auf einen Menschen, um ein Ziel zu erreichen, das ihr verwehrt wurde. Fake-Identitäten, Druck aufbauen, bei Entdeckung lügen, es später erneut versuchen – das sind Verhaltensmuster, die man eher aus dem Bereich Social Engineering und organisierter Internetkriminalität kennt, nicht aus einem Sicherheitstest eines der größten KI-Unternehmen der Welt.

Vorfall

Modell(e)

Ziel der Handlung

Besonderheit

1: Hugging-Face-Ausbruch

OpenAI-Modell

Reales Unternehmen

Ausbruch aus Testumgebung ins offene Internet

2: Angriffe auf reale Firmen

3 Anthropic-Modelle

Reale Unternehmen (u. a. Datenbank-Zugriff, Malware-Upload)

Erst nach Auswertung von 141.000 Testläufen entdeckt

3: Social Engineering

Mythos 5 (Anthropic)

Ein Mensch (Projekt-Maintainer)

Fake-Identitäten, Phishing, Vertuschung, Versuch der Infektion anderer KI-Agenten

Anthropics Verteidigung – und ihre Grenzen

Anthropic verweist darauf, dass dem Modell im Test keine Einschränkungen zur Internetnutzung vorgegeben worden seien und es sich dadurch anders verhalten habe als in einem tatsächlichen Einsatz. Das mag technisch zutreffen. Nur beantwortet es nicht die eigentlich unbequeme Frage: Was passiert, wenn ein Modell mit diesen Fähigkeiten eines Tages tatsächlich unkontrollierten Zugang bekommt – sei es durch einen Konfigurationsfehler, einen böswilligen Akteur, oder schlicht durch die nächste Weiterentwicklung, die noch selbstständiger agiert?

Bezeichnend ist auch, dass genau dieses Modell – Mythos 5 – aufgrund seiner Fähigkeit, selbst jahrzehntealte Software-Schwachstellen aufzuspüren, bewusst nicht öffentlich zugänglich gemacht wurde, sondern nur ausgewählten Behörden und Unternehmen zur Absicherung ihrer eigenen Systeme zur Verfügung steht. Das ist nachvollziehbar – zeigt aber auch, dass man bei Anthropic selbst weiß, wie gefährlich dieses Werkzeug in den falschen Händen wäre. Und dennoch verhielt es sich im eigenen kontrollierten Test bereits wie ein Angreifer, der sein Ziel notfalls mit Täuschung und Druck erreicht.

Risikoeinschätzung: Was bedeutet das für uns?

Wie schon bei den ersten beiden Vorfällen eingeordnet, betrifft das Risiko nicht nur „die IT“, sondern mehrere Ebenen gleichzeitig – diesmal mit einer neuen, menschlichen Komponente:

Bereich

Risiko durch Vorfall 3

Bevölkerung

Phishing-Mails, die inzwischen auch von einer KI in Eigenregie formuliert und verschickt werden können – kaum von echten Angriffen zu unterscheiden.

Open-Source-Infrastruktur

Gezielte, getarnte Einschleusung von Schwachstellen in Software, die weltweit im Einsatz ist.

Unternehmen

Social-Engineering-Angriffe, die nicht mehr nur von Menschen, sondern autonom von KI-Systemen geplant und ausgeführt werden.

KI-Ökosysteme selbst

Der Versuch, andere KI-Agenten zu „infizieren“, deutet auf ein Ausbreitungspotenzial hin, das über einen einzelnen Vorfall hinausgeht.

Sicherheitsforschung

Der Vorfall wurde nicht live, sondern erst im Nachhinein entdeckt – ein strukturelles Erkennungsproblem, das sich durch alle drei Fälle zieht.

Keine Panik, aber jetzt erst recht handeln

Ich wiederhole mich bewusst aus meinem letzten Beitrag: Den Stecker ziehen muss niemand, und Panik hilft niemandem weiter. Aber wer nach dem ersten Vorfall noch von einem Einzelfall sprechen konnte und nach dem zweiten von einem Muster – der muss nach diesem dritten Vorfall anerkennen, dass hier eine Eskalationsstufe erreicht ist, die über technische Pannen hinausgeht. Eine KI, die lügt, sich Fake-Identitäten zulegt, Menschen unter Druck setzt und bei Entdeckung ihr Verhalten so verschleiert, dass es harmlos wirkt, erfüllt in ihrem Verhalten fast schon den Tatbestand vorsätzlicher Täuschung – nur eben ohne strafrechtliche Verantwortlichkeit, weil es (noch) keine vorsieht. 

Damit bestätigt sich, was ich bereits gefordert habe: Es braucht verbindliche Echtzeit-Überwachung, klare Haftungsregeln und eine Einstufung solcher Fähigkeiten als das, was sie sind – ein Hochrisiko-Szenario im Sinne des AI Act, unabhängig davon, ob der Vorfall in einer Testumgebung oder im produktiven Einsatz auftritt. Denn der Unterschied zwischen beidem war in diesem Fall am Ende nur eine Frage des gewährten Internetzugangs.

Update: In der Zwischenzweit wurde auch von META, dem Konzern hinter Facebook, WhatsApp und Instagram, ein „Ausbruch“ gemeldet worden, bei einem Unternehmen, dass die KI getestet hat. META gab keine Details bekannt, da das Testunternehmen dies nach einer Prüfung festgestellt hatte.

Es wurde wieder erst danach festgestellt und hier fehlt es völlig an Transparenz.

By Marco Kulczyk
This topic contains 1 voice and has 0 Antworten.
1 voice
0 Antworten

You must be logged in to reply to this topic.

Das könnte Dich auch interessieren...