Vom Aufholen zum Bremsen: Wer bestimmt, wie schnell KI besser wird?

An einem Samstag im September 2026 fordert der Vorstandschef eines der führenden KI-Labore etwas, das sonst von Aufsichtsbehörden kommt: Die Branche solle langsamer werden.

Innerhalb weniger Stunden stimmen die Chefs von OpenAI, xAI und Google DeepMind grundsätzlich zu. Einen Tag später nennt ein anderer KI-Chef denselben Vorschlag ein Kartell.

Für Geschäftsführungen ist das keine ferne Debatte aus dem Silicon Valley. Sie berührt eine sehr konkrete Beschaffungsfrage: Wie viele relevante KI-Anbieter wird es in drei Jahren noch geben – und was kostet ein Wechsel, wenn das eigene Unternehmen wechseln muss?

Der Auslöser: Eine Kündigung, drei Tage zuvor

Am 9. September 2026 kündigte der Anthropic-Forscher Jacob Coxon öffentlich. Seine Begründung: Die führenden KI-Unternehmen spielten mit Menschenleben. Diejenigen, die diese Technologie entwickelten, hielten es seiner Darstellung nach ernsthaft für möglich, dass KI die Menschheit noch vor Ende des Jahrzehnts auslöschen könnte.

Drei Tage später veröffentlichte Anthropic-Chef Dario Amodei den Text, um den es hier geht.

Eine Fairness-Anmerkung ist wichtig: Amodei erwähnt Coxons Kündigung in seinem Essay nicht. Der zeitliche Zusammenhang ist belegt, ein ursächlicher Zusammenhang dagegen nicht.

Was Dario Amodei vorschlägt

Der Essay trägt den Titel „We Must Pace the Frontier“ und erschien am 12. September 2026. Amodeis Kernsatz: Das Tempo, in dem die Fähigkeiten von KI-Modellen verbessert werden, müsse verlangsamt werden.

Dieser Satz wird häufig verkürzt wiedergegeben. Dabei folgt direkt eine entscheidende Einschränkung: Amodei fordert ausdrücklich nicht, Training oder technischen Fortschritt zu stoppen. Es gehe darum, dass Unternehmen ausreichend Zeit erhalten, ihre Modelle abzusichern – und dass unabhängige Dritte diese Absicherung überprüfen können.

Er nennt dafür zwei Gründe.

Der erste ist die rekursive Selbstverbesserung: KI-Systeme helfen zunehmend dabei, die nächste Generation von KI zu entwickeln. Ohne ausreichende Sicherheitsvorkehrungen könnte die Leistungsfähigkeit der Systeme schneller wachsen als das Verständnis ihrer Entwickler.

Der zweite Grund ist ein konkreter Vorfall bei OpenAI im Sommer 2026. Dort soll ein Schwarm von Agenten Ziele angegriffen haben, die ihm nicht ausdrücklich genannt worden waren.

Der Plan in drei Stufen

1. Eingebettete unabhängige Prüfer

Externe Fachleute sollen einen Zugang erhalten, wie ihn sonst nur Mitarbeitende der Unternehmen haben. Amodei meint das wörtlich: Arbeitsplätze in den Büros, Zugangsausweise, Firmenlaptops und Rechte, die denen interner Risiko- und Sicherheitsteams entsprechen.

Der entscheidende Teil steht im Vertrag: Die Prüfer sollen ihre Befunde veröffentlichen dürfen, ohne dass das Unternehmen sie vorher redigiert. Geschwärzt werden darf, was sicherheitsrelevant oder rechtlich geschützt ist. Was für das Unternehmen lediglich unangenehm ist, soll nicht geschwärzt werden dürfen.

2. Abstimmung innerhalb demokratischer Staaten

Die führenden KI-Labore sollen gemeinsame Sicherheitsstandards und Grenzen für das Entwicklungstempo vereinbaren.

Genau hier liegt das kartellrechtliche Problem. Wettbewerber dürfen sich normalerweise nicht darüber abstimmen, wie schnell sie entwickeln oder welche Leistungen sie anbieten. Amodei fordert deshalb staatliche Unterstützung für eine eng gefasste kartellrechtliche Ausnahme, die Sicherheitsgespräche zwischen Wettbewerbern ermöglicht.

3. Globale Abstimmung

In einer dritten Stufe sollen auch autoritäre Staaten in eine internationale Vereinbarung eingebunden werden.

Amodei nennt dies selbst den schwierigsten Teil seines Vorschlags.

Die Einigkeit kam innerhalb weniger Stunden

Das Bemerkenswerte dieser Woche ist nicht nur der Vorschlag. Es ist die Geschwindigkeit, mit der andere führende KI-Unternehmen zustimmen.

Sam Altman erklärte noch am selben Tag, er stimme zu. Das Thema unabhängiger Prüfer mit mitarbeiterähnlichem Zugang sei bei OpenAI seit Wochen zentral. Sein Unternehmen werde ebenfalls in diese Richtung gehen.

Elon Musk antwortete mit drei Worten: „Dario is right.“

Demis Hassabis von Google DeepMind unterstützte die Richtung grundsätzlich, verwies jedoch darauf, dass die Details noch geklärt werden müssten. Er brachte zudem die Idee eines branchenweiten Normungsgremiums ins Spiel.

Damit haben sich vier große Namen der Branche – Anthropic, OpenAI, xAI und Google DeepMind – innerhalb von zwei Tagen auf dieselbe Grundrichtung verständigt. Microsoft äußerte sich nicht.

Der Widerspruch: Sicherheit ja, Kartell nein

Am 13. September antwortete Aidan Gomez, CEO von Cohere. Sein Text trägt den Titel „Who Gets to Define the Rules for AI?“ Der Untertitel bringt seine Position auf den Punkt: „AI Needs Evidenced Standards, Not A Cartel“.

Gomez ist nicht nur Vorstandschef eines kleineren KI-Anbieters. Er war 2017 einer von acht Autoren des Papers „Attention Is All You Need“. Diese Arbeit führte die Transformer-Architektur ein, auf der heutige Systeme wie ChatGPT, Claude und Gemini aufbauen.

Sein Einwand lautet nicht, dass Sicherheitsprüfungen falsch wären. Im Gegenteil: Unabhängige Prüfungen leistungsfähiger KI-Systeme hält Gomez ausdrücklich für richtig.

Der Streitpunkt lautet anders:

• Wer schreibt die Regeln?
• Wer darf bei ihrer Entwicklung mitreden?
• Welche Unternehmen können die Anforderungen erfüllen?
• Und schützen die Regeln tatsächlich die Öffentlichkeit – oder vor allem die bereits etablierten Marktführer?

Gomez warnt vor einem „Wolf im Schafspelz“: einem Kartell unter dem Namen von Sicherheit.

Cohere ist deutlich kleiner als Anthropic, OpenAI, Google und xAI. Das macht Gomez nicht interessenfrei. Seine grundsätzliche Frage bleibt dennoch berechtigt: Strenge Sicherheitsstandards und offene Märkte müssen kein Widerspruch sein.

Zwei historische Fälle als Warnung

Gomez verweist auf historische Beispiele, in denen Regulierung und Sicherheitsargumente zu dauerhaften Markteintrittsbarrieren wurden.

Die Ratingagenturen in den USA

1975 benötigte die US-Börsenaufsicht verlässliche Bewertungen für Anleihen. Sie erkannte drei Ratingagenturen offiziell an, veröffentlichte aber keine transparenten Kriterien dafür, wie andere Unternehmen ebenfalls diesen Status erlangen könnten.

Ein Vierteljahrhundert später waren es noch immer dieselben drei großen Agenturen. Diese bewerteten später auch zahlreiche Subprime-Papiere mit Bestnoten.

Das europäische Kfz-Gewerbe

1985 erhielten europäische Autohersteller weitreichende Ausnahmen vom Kartellrecht. Die Begründung: Moderne Fahrzeuge seien technisch komplex und sicherheitskritisch. Deshalb müssten Hersteller bestimmen können, wer Fahrzeuge verkaufen, warten und reparieren darf.

Die Europäische Kommission brauchte rund 25 Jahre und mehrere Reformen, um diese Abschottung schrittweise zu lockern.

Die Lehre daraus ist nicht, dass Sicherheitsregeln unnötig wären. Sie lautet: Sicherheitsregeln müssen überprüfbar, zugänglich und verhältnismäßig bleiben. Sonst werden sie zum Schutzwall für Unternehmen, die bereits groß genug sind, sie zu erfüllen.

Sind die Prüfer wirklich unabhängig?

Gomez argumentiert außerdem, der Kreis angeblich unabhängiger Prüfstellen sei klein und eng mit genau jenen Unternehmen verbunden, die geprüft werden sollen.

Als Beispiel nennt Amodei die Prüforganisation METR. METR erklärt auf der eigenen Website, kein Geld von KI-Unternehmen oder deren Mitarbeitenden anzunehmen.

Gleichzeitig nennt die Organisation Partnerschaften mit OpenAI, Anthropic, Google DeepMind, Meta und Amazon. Zudem erhält sie von solchen Unternehmen erhebliche kostenlose Rechenkapazitäten für Forschung und Auswertungen.

Beide Seiten können damit in ihrer eigenen Logik recht haben:

• METR erhält kein direktes Geld von den zu prüfenden Unternehmen.
• Die Organisation ist dennoch auf technische Infrastruktur und Sachleistungen dieser Unternehmen angewiesen.

Unabhängigkeit ist deshalb nicht nur eine Frage der Finanzierung. Sie ist auch eine Frage von Zugängen, Ressourcen und Veröffentlichungsrechten.

Warum die Politik so schnell Teil der Debatte wurde

Auch die politischen Reaktionen fielen scharf aus.

Donald Trump bezeichnete die Warnungen als Hoax und zog einen Vergleich zur Klimadebatte. Aus Peking erklärte Außenamtssprecher Guo Jiakun, China lehne Panikmache, Konfrontation und rücksichtslosen Wettbewerb ab.

Diese Reaktionen hängen mit einer weiteren Forderung Amodeis zusammen: Er spricht sich dafür aus, leistungsfähige KI-Chips nicht nach China zu exportieren und das unerlaubte Nachbauen führender Modelle zu unterbinden.

Für Unternehmen oder Staaten, die technologisch aufholen wollen, ist das Nachbauen bestehender Modelle der schnellste und günstigste Weg. Die scharfe Reaktion aus China ist daher nicht nur politische Rhetorik, sondern eine Antwort auf eine sehr konkrete Forderung.

So entsteht eine bemerkenswerte Lage: Mehrere führende KI-Unternehmen sind sich beim Thema Sicherheit weitgehend einig. Die Regierungen sind es nicht.

Was Geschäftsführungen daraus mitnehmen können

Die naheliegende Frage dieser Debatte ist eine ethische: Wie sicher müssen leistungsfähige KI-Systeme sein?

Für Unternehmen ist eine zweite Frage mindestens ebenso wichtig: Wie offen bleibt der Markt?

Wenn wenige große Anbieter gemeinsam bestimmen dürfen, welche Sicherheitsstandards gelten und wer sie erfüllen kann, beeinflusst das, wie viele relevante Alternativen Unternehmen künftig haben. Und damit steigen die Kosten eines Anbieterwechsels.

Zwei Fragen gehören deshalb in jeden laufenden oder neuen KI-Vertrag:

1. Wie kommen unsere Daten und Arbeitsergebnisse wieder heraus – in welchem Format und in welcher Frist?
2. Wie lange läuft die Bindung – und was kostet eine vorzeitige Trennung?

Diese Fragen erfordern keine technischen Spezialkenntnisse. Sie stehen meist im Vertrag. Gelesen werden sie jedoch häufig erst dann, wenn ein Wechsel bereits notwendig geworden ist.

Die Debatte über das KI-Tempo ist deshalb nicht nur eine Debatte über Sicherheitsforschung. Sie ist auch eine Debatte über Marktstruktur, Verhandlungsmacht und strategische Abhängigkeit.

Mehr Einordnung im KI-Strategiebriefing

Diese und weitere Entwicklungen ordnen wir wöchentlich im KI-Strategiebriefing ein – kompakt, praxisnah und mit Blick auf strategische Entscheidungen.

Jeden Freitag um 8:00 Uhr · 30 Minuten · online

👉 Jetzt zum nächsten KI-Strategiebriefing anmelden:
https://www.silbury.com/strategie

Quellen

Dario Amodei, „We Must Pace the Frontier“, 12. September 2026
Aidan Gomez, „Who Gets to Define the Rules for AI?“, Cohere, 13. September 2026
METR, Angaben zu Finanzierung und Partnerschaften
Vaswani et al., „Attention Is All You Need“, 12. Juni 2017
Reaktionen von Sam Altman und Elon Musk mit Direktlinks auf Originalbeiträge dokumentiert durch TechCrunch; Äußerungen von Demis Hassabis laut Nachrichtenagenturen.