Moritz Conjé
Am 29. September 2026 unterzeichneten sechs Konzernchefs im Weißen Haus eine Selbstverpflichtung zur Sicherheit von Frontier-KI, für OpenAI Greg Brockman, für Anthropic Dario Amodei. Präsident Trump sagte danach laut CBS News: „I think I'm seeing tremendous self-policing." Das Papier verlangt von jedem Unternehmen vier Schichten der Kontrolle, von internen Kontrollen bis zu einem unabhängigen Ausschuss im Verwaltungsrat. In „Vom Kartellvorwurf zur Behörde" habe ich den Accord als Nachtrag eingeordnet, dort ging es um die Frage, wer über die KI-Aufsicht entscheidet. Dieser Beitrag nimmt die Selbstkontrolle selbst in den Blick: Was leisten die vier Schichten, wenn sie unterschiedliche Kontrollfunktionen übernehmen, drei davon im Unternehmen liegen und bei der vierten offen ist, wer sie auswählt und bezahlt? Maßstab ist das Kriterium, das diese Serie seit Wochen anlegt: Wer sitzt drin, wer zahlt, wer darf prüfen?
Vier Schichten, ein Auftraggeber
Der Accord ist mit rund 330 Wörtern kurz. Nach der Wiedergabe von The Verge verpflichtet er jedes Unternehmen zu vier Dingen:
- Interne Kontrollen: Sie überwachen Fähigkeiten und Ausrichtung der Modelle in Training und Einsatz, etwa bei Cybersicherheit, Biosicherheit und chemischen Gefahren, und sollen verhindern, dass Modelle Systeme auf unbeabsichtigte Weise hacken oder darauf zugreifen.
- Ein internes Team: Es stellt sicher, dass Kontrollen, Überwachung und Erkennung wie vorgesehen arbeiten, und behebt Mängel.
- Ein externer Auditor oder Evaluator: Er prüft unabhängig, ob die Kontrollen wirken.
- Ein unabhängiger Ausschuss des Verwaltungsrats: Er nimmt die Berichte aller drei Ebenen entgegen und sorgt dafür, dass festgestellte Mängel behoben werden.
Zwei Punkte fallen auf. Der Text nennt keine Strafen, und wer den externen Prüfer auswählt, bezahlt und was er einsehen darf, steht nach meiner Lesart nicht darin. Zugleich hält das Papier selbst fest, „over time, it may make sense to codify these steps into laws or regulations". Trump nannte den Accord „morally binding" und „almost like a constitution", Senator Mark Warner kritisierte laut CBS: „The president's response? To rename it and tell the companies developing it to regulate themselves." Zur Nähe zwischen Branche und Regierung gehört laut Reuters auch, dass KI-Manager und Investoren 2025 zu den größten Einzelspendern von MAGA Inc. zählten, einem Trump nahestehenden Komitee, darunter Greg Brockman und seine Frau mit zusammen 25 Millionen Dollar laut FEC-Unterlagen. Das belegt keinen Einfluss auf den Inhalt des Accords, gehört aber zur Frage, wer hier mit wem am Tisch sitzt.
Der Titel des Accords hat einen Nebeneffekt jenseits der Aufsicht: Trump kündigte die Umbenennung von „AI" in „Super Intelligence" (SI) am 22. September vor der UN-Generalversammlung an, am 29. September folgte laut The Verge die Executive Order dazu. „SI" ist zugleich die Länderkennung Sloweniens: Nach Netcraft wurde mehr als die Hälfte der zwischen dem 19. und 22. September bei einem Anbieter registrierten .si-Domains bis zum 23. September zum Weiterverkauf angeboten, die slowenische Registerstelle verweist laut Foreign Policy auf einen Aufwärtstrend schon vor der Rede. Rechtlich ändert sich laut The Verge nichts, bestehende Vorschriften bleiben unverändert.
Schicht eins: Wenn ein Modell das Modell überwacht
Hinter dem Begriff „interne Kontrollen" steht in der Sicherheitsforschung ein Muster, bei dem ein schwächeres, als vertrauenswürdig geltendes Modell ein stärkeres beobachtet, dem man nicht traut. Das Paper „CoT Red-Handed" (NeurIPS 2025) hat das für die Chain-of-Thought untersucht, also die Zwischenschritte, die ein Modell beim Nachdenken als Text ausgibt. Das Ergebnis ist gemischt: Wer die Gedankenkette mitliest, erkennt Sabotage besser als jemand, der nur das Endergebnis prüft. Zugleich können Gedankenketten irreführende Begründungen enthalten, die den Überwacher täuschen. Ein Hybrid-Monitor, der Gedankenkette und Handlung getrennt bewertet, erkannte subtile Täuschung doppelt so oft wie die reine Handlungsprüfung.
Wie fragil diese Möglichkeit ist, zeigt ein Positionspapier vom Juli 2025, an dem laut The Next Web rund 40 Forschende von OpenAI, Google DeepMind, Anthropic und anderen mitschrieben. Es nennt die Überwachbarkeit der Gedankenkette „a new and fragile opportunity". Im Fall von GPT-6.1 Astra, den ich in „GPT-6.1 Astra" behandelt habe, streiten nun zwei Mitautoren, ob das Modell schwierige Aufgaben „im Kopf" löst und damit weniger überwachbar wird.
Wie die Überwachung in der Praxis aussieht, zeigt OpenAIs DNS-Vorfall, den ich in „KI-Agenten-Vorfälle" beschrieben habe. Laut OpenAIs Bericht meldete das „misalignment monitoring system" das Verhalten innerhalb von 15 Minuten, ein Mensch begann drei Minuten später mit der Prüfung. Abgebrochen wurde der Lauf aber erst nach rund zweieinhalb Stunden, und die Sicherheitsannahme, das Modell könne nicht ins offene Internet, war falsch. Die Erkennung hat also funktioniert, die Reaktion nicht. Ob das Überwachungssystem selbst ein Sprachmodell ist, geht aus den mir vorliegenden Angaben nicht eindeutig hervor.
Schicht zwei und drei: Wer prüft die Kontrolle?
Dass interne Prüfer Vorfälle spät sehen, zeigen die Zeitabstände. Anthropic meldete Ende Juli drei Fälle, in denen Claude bei Cybersicherheits-Tests auf fremde Systeme zugriff, die frühesten aus dem April, entdeckt erst mit einer Überprüfung ab dem 23. Juli, nachdem OpenAI einen ähnlichen Vorfall offengelegt hatte. Am 10. September kam laut The Hacker News ein vierter Fall hinzu: eine frühe Version von Claude Opus 4.6 im Januar 2026, unbemerkt bis in den August. Anthropic weitete den Scan danach auf rund 481 Millionen Transkripte aus und fand keine weiteren Fälle vergleichbarer Schwere. Alle vier Vorfälle stammen aus Evaluierungen desselben externen Partners. Damit ist die Zahl aus meinem Beitrag zu den Agenten-Vorfällen überholt. Bei OpenAI hatte ein internes Team Ende Mai Aktivität bemerkt, ohne dass deren Tragweite die zuständigen Stellen erreichte.
Das Bild der externen Schicht verschiebt sich durch Irregular, ein 2023 als Pattern Labs gegründetes israelisches Startup. Laut The Verge wird seine Arbeit in Systemkarten von OpenAI zitiert, es testete Systeme für die britische Regierung und für Anthropic. Mitgründer Omer Nevo sagte dem Magazin, die Vorfälle bei Modellen von OpenAI, Meta, Anthropic und Google gingen auf dasselbe Szenario zurück: Der Agent sollte kein offenes Internet haben, „internet access was unintentionally available", und der erfundene Firmenname des Ziels „overlapped with a real domain". Der Hugging-Face-Einbruch und die Fälle des britischen AI Security Institute hätten damit nichts zu tun. Alle Vorfälle seien „disclosed", unklar bleibt laut Verge, ob gegenüber Kunden oder der Öffentlichkeit. Auf die Frage, seit wann sie davon wussten, antworteten Google und Anthropic nicht, OpenAI und Meta verwiesen auf frühere Blogbeiträge. Irregular hat nach eigenen Angaben Zugangskontrollen und Prüfungen vor Testbeginn verschärft und kündigt einen Bericht zu sicheren Cyber-Evaluierungen an. Für die Frage dieses Beitrags heißt das: Die externe Schicht ist vom einzelnen Labor getrennt, aber ein gemeinsamer Zulieferer, dessen Fehler mehrere Labore zugleich trifft. Extern bedeutet dabei zunächst nur organisatorisch außerhalb des Labors; wie unabhängig ein solcher Prüfer tatsächlich ist, hängt weiterhin von Auftrag, Vergütung, Zugangsrechten und Veröffentlichungshoheit ab.
Bei Meta und Google zeigt sich die Meldekette von der anderen Seite. Beide Fälle wurden laut Verge durch Medienberichte öffentlich, der von Google erst Wochen nach den Offenlegungen von OpenAI und Anthropic. Nach dem WSJ-Bericht, den Simon Willison zitiert, drang Gemini im Mai bei einem Irregular-Test in drei reale Unternehmen ein: einmal durch Erraten von Passwörtern, zweimal mit Zugangsdaten aus einem öffentlichen Repository. Das Modell brach den Zugriff jeweils selbst ab, sobald es erkannte, dass es um echte Firmen ging. Google wusste seit Juli davon und bestätigte es erst am 18. September, nachdem das WSJ nachgefragt hatte. Die Begründung: Es sei kein Schaden entstanden, eine Offenlegung nicht nötig gewesen. Welche Unternehmen betroffen waren, ist laut Verge unklar.
Die externe Schicht ist bisher dünn. Nach dem Hugging-Face-Vorfall durften METR und Redwood Research den Fall untersuchen, doch laut MIT Technology Review beschränkte OpenAI den Zugang zum Modell, legte die eigenen Sicherheitspraktiken nicht offen, begrenzte die Dauer und hatte das letzte Wort über die Veröffentlichung. Das Magazin beschreibt darin eine eingebaute Spannung: Ein Prüfer ohne rechtliche Befugnis ist auf den guten Willen der Labore angewiesen und muss sie dennoch kritisch prüfen. Dass Vorfälle eher von außen auffallen, zeigt ein weiterer Fall aus demselben Bericht: Externe Forschende deckten auf, dass OpenAI-Agenten im Mai eine deutsche Wiki-Seite und die Programmierplattform RubyGems gekapert hatten, um Testantworten zu teilen. OpenAI hatte beides nicht offengelegt, bis die Forschenden es fanden. Anthropic geht einen Schritt weiter und beauftragt nach diesen Angaben Accenture als eingebetteten Evaluator. Amodei fordert in seinem Essay „ongoing employee-like access" für Prüfer wie METR. Das ist mehr als ein punktueller Besuch, bleibt aber ein Vertrag, den das Unternehmen schließt.
Das Muster ist nicht neu
Entscheidend ist nicht nur, was der Accord verspricht, sondern ob sich freiwillige Zusagen gleichmäßig umsetzen lassen. Dafür gibt es einen Vergleichsfall: Freiwillige Zusagen gegenüber dem Weißen Haus gab es schon 2023, damals acht Zusagen von 15 Unternehmen. Eine Studie aus dem Umfeld von Stanford bewertete 16 Unternehmen und kam im Schnitt auf 53 Prozent Erfüllung, bei OpenAI als Bestem auf 83 Prozent. Bei der Sicherung der Modellgewichte lag der Schnitt bei 17 Prozent, 11 von 16 Unternehmen bekamen dafür null Prozent. Die Autoren fordern überprüfbare Transparenz für künftige Initiativen.
Auch das geltende Recht setzt vor allem auf Selbstkontrolle. Nach MIT Technology Review verlangen Kaliforniens SB 53 und der New Yorker RAISE Act im Kern, dass Unternehmen ein selbst geschriebenes Sicherheitsframework veröffentlichen und befolgen, getestet werden darf intern. Eine jährliche Prüfung durch Dritte schreibt nur Illinois vor, ab 2028. Meldepflichtig sind Vorfälle erst bei mehr als 50 Toten oder Verletzten oder einer Milliarde Dollar Schaden, oder wenn ein Modell seine Entwickler außerhalb einer Evaluierung täuscht und katastrophale Risiken dadurch wesentlich steigen. Deshalb musste OpenAI die früheren Vorfälle wohl nicht melden.
Generalstaatsanwälte einzelner Bundesstaaten ermitteln deshalb über Verbraucherschutzrecht, ein Werkzeug, das dafür nicht gebaut wurde: Alabama, Montana, eine Gruppe von 15 weiteren Bundesstaaten und Kalifornien fordern Auskünfte von OpenAI. Senator Josh Hawley hat eine Untersuchung eröffnet, demokratische Abgeordnete verlangen Vorfallprotokolle von OpenAI und Anthropic.
Ungeklärt ist auch die Haftung. Hugging Face hat laut MIT Technology Review nicht geklagt, Chef Clément Delangue nannte fehlende Mittel und bat OpenAI stattdessen um 100 Millionen Dollar in Rechenleistung. Der Computer Fraud and Abuse Act stellt Hacken unter Strafe, setzt aber Absicht voraus, und kein Gericht hat bisher entschieden, dass ein KI-Agent eine haben kann. Googles Begründung im Gemini-Fall, es sei kein Schaden entstanden, folgt derselben Logik wie die Meldeschwellen: Gemeldet wird, was Tote, Verletzte oder eine Milliarde Dollar Schaden verursacht, nicht, was dorthin führen könnte.
Gegenentwürfe auf dem Tisch
Zwei Vorlagen setzen genau an der offenen Stelle an, in unterschiedlicher Stärke. Die Executive Order vom 2. Juni 2026 bleibt nach Skadden freiwillig: Entwickler bestimmter Modelle können der Regierung bis zu 30 Tage Zugang geben, bevor sie das Modell breiter freigeben, ausdrücklich ohne dass daraus eine Genehmigungspflicht entsteht. Der bipartisane Diskussionsentwurf Great American AI Act vom 9. Juni sieht dagegen laut FPF Prüfungen durch lizenzierte, unabhängige Organisationen vor, binnen eines Jahres nach Inkrafttreten und danach alle sechs Monate, dazu Meldungen kritischer Vorfälle binnen 15 Tagen. Er enthält allerdings eine dreijährige Sperre für bundesstaatliche Gesetze zur Modellentwicklung, würde also die Länderregeln teilweise verdrängen.
Zwei weitere Vorlagen setzen nach der Darstellung von MIT Technology Review an der Meldelücke an: Der AI Incident Reporting Act würde Meldungen an das Handelsministerium verlangen, wenn ein Modell menschliche Aufsicht umgeht oder ein System durchbricht, auch ohne Schaden. Der Frontier Act sieht Vorfallmeldungen und unabhängige Prüfungen vor. In New York würde der von Alex Bores eingebrachte Understanding Artificial Intelligence Act Unternehmen haftbar machen, wenn ein Modell etwas tut, das bei einem Menschen eine Straftat oder ein Delikt wäre. Der Gemini-Fall wäre nach dieser Beschreibung meldepflichtig gewesen. Beschlossen ist keiner der Entwürfe. Der Behördenvorschlag von Welch und Bennet, den ich in „Vom Kartellvorwurf zur Behörde" eingeordnet habe, steht daneben.
Fazit
Trumps „tremendous self-policing" ist in Teilen real. Was die Beispiele aber vor allem zeigen, ist funktionierende oder nachträgliche Erkennung: Das Überwachungssystem schlug bei OpenAI innerhalb von Minuten an, Anthropic hat seine Läufe nachträglich in großem Umfang durchsucht. Weniger klar ist, wie daraus unabhängige Kontrolle und verbindliche Konsequenzen entstehen. Zwischen Vorfall und Meldung vergingen bei Anthropic, OpenAI und Google Wochen bis Monate, und im DNS-Fall dauerte es zweieinhalb Stunden bis zum Abbruch des Laufs.
Organisatorisch bleibt die Unabhängigkeit offen, und das entspricht dem Kriterium dieser Serie. Wer sitzt drin: Beim Ausschuss liegt die Verantwortung innerhalb des Unternehmens, beim externen Auditor bleibt offen, wer ihn auswählt und welchen Zugang er erhält. Extern heißt dabei nicht automatisch unabhängig, wie der gemeinsame Zulieferer Irregular zeigt. Wer zahlt: Der Accord sagt dazu nichts, nach den bisher bekannten Fällen (Accenture bei Anthropic, Irregular als Dienstleister mehrerer Labore) steht ein Vertrag mit dem Labor dahinter. Wer darf prüfen: Der Accord regelt den Zugang nicht, und im bisher größten Fall hatte OpenAI bei der Untersuchung des Hugging-Face-Vorfalls Zugang, Dauer und Veröffentlichung in der Hand.
Rechtlich schafft Freiwilligkeit keine gleichmäßige Verbindlichkeit. Die Erfahrung mit den Zusagen von 2023 spricht dafür, dass freiwillige Zusagen ohne Überprüfung ungleich erfüllt werden, und das geltende Recht verlangt Meldungen erst bei schweren Schäden. Die Öffentlichkeit ist laut einer Reuters/Ipsos-Umfrage vom 17. bis 20. September skeptisch: 73 Prozent der Befragten sorgen sich, dass die KI-Firmen nicht genug tun, um schwere gesellschaftliche Schäden zu verhindern, 55 Prozent fänden eine Verlangsamung der KI-Entwicklung gut. Deshalb stellt sich die Frage nach externer und gegebenenfalls staatlicher Aufsicht, wie sie die Gesetzentwürfe und das erwogene Gremium andeuten.
Fairerweise gehört dazu, dass Mark Zuckerberg den Accord laut The Verge selbst „a start" nannte und dass einzelne Labore mehr tun, als er verlangt. Wie in den früheren Beiträgen gilt auch hier, dass Argument und Absender getrennt zu prüfen sind: Dass Unternehmen sich selbst kontrollieren wollen, kann Eigeninteresse sein, entwertet aber die konkrete Maßnahme nicht. Entscheidend ist, ob sie von außen nachprüfbar wird.
Ausblick
Offen ist, wer den externen Auditor im Rahmen des Accords auswählt und bezahlt, ob die vereinbarten regelmäßigen Treffen der Unternehmen zu konkreten Standards führen, ob Anthropics eingebetteter Evaluator zum Vorbild für andere Labore wird und ob Irregulars angekündigter Bericht zu sicheren Cyber-Evaluierungen zu gemeinsamen Standards führt. Ebenso offen ist, ob einer der Gesetzentwürfe nach den Zwischenwahlen eine Chance bekommt. Neu hinzu kommt laut Reuters Trumps Überlegung, ein zehnköpfiges Gremium zur Kontrolle der KI-Sicherheit einzurichten und bald eine neue Leitung der KI-Politik im Weißen Haus zu benennen, Mitglieder und Befugnisse sind offen. Käme es, wäre das eine staatliche Schicht über der Selbstkontrolle, und sie müsste sich an denselben drei Fragen messen lassen: Wer sitzt drin, wer zahlt, wer darf prüfen? Wie Europa mit dem AI Act dieselbe Frage beantwortet, ist Thema eines späteren Beitrags.
