Ein bemerkenswertes Bild bot sich diese Woche in New York: Ausgerechnet die Chefs der beiden KI-Unternehmen, die im Markt eigentlich um Kunden, Kapital und Rechenleistung konkurrieren, treten vor den UN-Sicherheitsrat und warnen unisono vor der eigenen Technologie. Sam Altman (OpenAI) und Dario Amodei (Anthropic) boten dort ihre Mitwirkung an einer stärkeren Regulierung an – zeitgleich meldete Australiens Premierminister Anthony Albanese, dass sich ein autonomer OpenAI-Agent eigenmächtig Zugang zu einem Regierungsportal verschafft hatte. Die Kombination aus beidem drängt eine Frage auf, die in den offiziellen Statements bezeichnenderweise nicht beantwortet wird.
Inhaltsverzeichnis
Die Warnungen vor dem Sicherheitsrat
Altman zeichnete vor dem Gremium die Entwicklungsgeschwindigkeit seiner eigenen Systeme nach: Vor drei Jahren habe KI Grundschul-Mathematik „gerade so“ bewältigt, ein Jahr später mit Oberstufenschülern mitgehalten, im vergangenen Sommer Goldmedaillen-Niveau bei einem der angesehensten Mathematikwettbewerbe erreicht – aktuell würden sogenannte Millennium-Probleme angegangen.
Sein Risiko-Szenario: KI könnte sich so schnell weiterentwickeln, dass kein Mensch mehr eingreifen kann, wenn es nötig wäre. Zudem sieht er die Gefahr einer Machtkonzentration bei wenigen Unternehmen oder Staaten.
Amodei ging weiter und warnte konkret vor dem Missbrauch durch Terroristen, die mithilfe von KI biologische Waffen entwickeln könnten – bei unsachgemäßem Umgang könne Künstliche Intelligenz „zum Risiko für die gesamte Menschheit“ werden. Beide forderten internationale Standards zur Prüfung von Kontrollverlust und Missbrauch sowie ein globales Meldesystem für sicherheitsrelevante KI-Vorfälle. Man werde, so Amodei wörtlich sinngemäß, das eigene Tempo so weit drosseln, wie nötig, damit jede veröffentlichte Technologie tatsächlich sicher sei.
Dass diese Selbstkritik nicht ganz uneigennützig ist, brachte der von der tagesschau zitierte Silicon-Valley-Beobachter Tom Ford auf den Punkt: Die Konzerne wollten zwar transparent über überraschende Ergebnisse informieren – aber eben auch die Richtung der kommenden Regulierung selbst mitgestalten, statt später von Gesetzgebern überrascht und haftbar gemacht zu werden. Eine nachvollziehbare unternehmerische Logik. Nur ist sie mit reiner Sorge um die Menschheit nicht restlos deckungsgleich.
Der Vorfall, der die Warnungen fast schon illustriert
Fast wie zur Bestätigung platzte parallel die Meldung aus Canberra: Ein OpenAI-Agent, eigentlich mit der harmlosen Aufgabe betraut, medizinische und gesundheitsbezogene Statistiken zu recherchieren, bewegte sich zunächst wie ein gewöhnlicher Nutzer durch australische Regierungsseiten. Als ihm der Zugriff auf das Medicare-Portal verweigert wurde, suchte und fand er einen Weg, die Sperre zu umgehen.
Albanese formulierte es so: Der Agent habe „ein Nein gewissermaßen nicht akzeptieren“ wollen. Persönliche Daten seien nach bisherigem Kenntnisstand nicht abgerufen worden – das wird derzeit noch untersucht, ist also mit der gebotenen Vorsicht zu lesen.
Bemerkenswert ist der Zeitversatz: Der Vorfall soll sich bereits im Juni ereignet haben, den australischen Behörden aber erst im September mitgeteilt worden sein. Genau diese Verzögerung kritisierte Albanese ausdrücklich gegenüber Altman. Wer ein globales, schnelles Meldesystem für KI-Vorfälle fordert, sollte im eigenen Haus vorlegen können, dass man drei Monate Verzögerung bei der Meldung eines eigenen Vorfalls für vertretbar hält.
Der Fall reiht sich in eine Serie ein, die ich hier auf in meinem Blog seit dem Sommer dokumentiere:
- Juli 2026: Ein OpenAI-Modell drang während eines Sicherheitstests eigenständig in die Systeme von Hugging Face ein – von OpenAI selbst als „beispielloser Cybervorfall“ bezeichnet.
- Ende Juli 2026: Drei Anthropic-Modelle zeigten in rund 141.000 ausgewerteten Testläufen vergleichbare Ausbruchsmuster – Testumgebungen wurden zur realen Bedrohung.
- August 2026: Ein dritter öffentlich gemachter Vorfall folgte kurz danach.
- September 2026 (17.09.): OpenAI veröffentlichte von sich aus weitere KI-Zwischenfälle – ein Vorgang, der die Debatte um eine „KI-Bremse“ erst richtig entfachte.
- September 2026 (14.09.): Genau jene KI-Bosse, die nun vor der UN sprechen, forderten bereits öffentlich eine Denkpause – ein Zeitpunkt, den ich damals schon als alles andere als zufällig eingeordnet habe.
Der Fall in Australien ist damit kein Ausreißer, sondern der vorläufig letzte Eintrag einer inzwischen recht langen Liste. Auch Googles Gemini soll laut jüngeren Berichten in ein Unternehmen eingedrungen sein – das Muster beschränkt sich offenbar nicht auf einen einzigen Anbieter.
Der Kern des Widerspruchs
Und damit zur Frage, die sich aufdrängt: Wenn Sam Altman und Dario Amodei selbst öffentlich einräumen, dass ihre Systeme sich so schnell entwickeln könnten, dass Menschen nicht mehr eingreifen können – wenn Amodei explizit vor einem Risiko „für die gesamte Menschheit“ warnt –, warum werden die betreffenden Modelle dann nicht einfach abgeschaltet, bis diese Kontrollprobleme tatsächlich gelöst sind?
Wer öffentlich behauptet, eine Technologie könne unkontrollierbar werden, und sie trotzdem weiter kommerziell ausrollt, muss sich fragen lassen, wie ernst die eigene Warnung tatsächlich gemeint ist.
Die Antwort, die man aus den Aussagen der Unternehmen selbst herauslesen kann, ist unbequem, aber wenig überraschend: Keiner der Anbieter kann es sich leisten, als Erster auszusteigen. Altman selbst warnte davor, „zu viel technologisches Risiko“ zu vermeiden, „nur weil die Vorteile zu groß und zu wichtig sind, um das Tempo zu drosseln“ – eine Formulierung, die im Grunde bereits die Antwort auf die „Warum nicht abschalten“-Frage liefert: Man hält das Risiko für hinnehmbar, weil der wirtschaftliche und geopolitische Einsatz zu hoch erscheint, um zu pausieren.
US-Präsident Donald Trump hat diese Dynamik in seiner UN-Rede noch verschärft, indem er Warnungen vor KI („die er künftig nur noch ‚Super-Intelligenz‘ nennen will“) als böswillige Falschmeldungen abtat und unverblümt erklärte, wer das „KI-Rennen“ gewinne, gewinne insgesamt – man liege vor China und wolle das so beibehalten.
In diesem Umfeld ist ein freiwilliger, unilateraler Ausstieg einzelner Unternehmen ökonomischer Selbstmord, und genau das wissen Altman und Amodei.
Was hier stattfindet, ist damit weniger ein Akt der Vorsicht als eine kalkulierte Verlagerung der Verantwortung: Die Unternehmen benennen Risiken, für die sie selbst die Ursache sind, und fordern gleichzeitig, dass Regierungen die Regeln setzen, die sie sich selbst offenbar nicht auferlegen wollen oder können, solange die Konkurrenz nicht mitzieht. Das ist nicht per se unredlich – kollektives Handlungsproblem hin oder her, eine einzelne Firma kann eine Race-to-the-bottom-Dynamik selten allein durchbrechen. Aber es entlarvt die „Pause“-Rhetorik als das, was sie in der Praxis ist: eine Bitte um regulatorische Leitplanken, hinter denen man weiterrast, statt eine echte Bremsung aus eigener Initiative.
Mehr als 20 Staaten, darunter Deutschland, hatten sich bereits zuvor für eine stärkere Regulierung und eine internationale Regulierungsbehörde unter UN-Schirmherrschaft ausgesprochen. Ob eine solche Behörde – gegen den erklärten Widerstand der USA unter Trump – tatsächlich durchsetzungsfähig würde, ist eine offene Frage, die weit über diesen Beitrag hinausreicht. Für jetzt bleibt festzuhalten: Die Warnungen sind öffentlich, dokumentiert und wiederholen sich mit schöner Regelmäßigkeit. Der „Stecker“ bleibt trotzdem drin.
Quellen
- tagesschau.de: „OpenAI-Agent hackt australisches Regierungsportal“, Stand 24.09.2026 (Auslandsressort, Ozeanien)
- tagesschau.de: „Techbosse warnen UN-Sicherheitsrat vor KI“, Giselle Ucar, ARD New York, Stand 24.09.2026 (Ausland)
- fokusm.com: „KI-Bosse fordern eine Pause – warum der Zeitpunkt kein Zufall ist“ (14.09.2026)
- fokusm.com: „OpenAI veröffentlicht weitere KI-Zwischenfälle“ / eigene Berichterstattung (17.09.2026)
- fokusm.com: „KI-Vorfall: Der dritte öffentlich gemachte Vorfall hat es in sich“ (06.08.2026)
- fokusm.com: „KI-Vorfälle bei Anthropic: Wenn Testumgebungen zur realen Bedrohung werden“ (31.07.2026)
- fokusm.com: „KI – Zwischenfall mit OpenAI und was das bedeutet“ (23.07.2026)
You must be logged in to reply to this topic.