Am Samstagnachmittag hat Dario Amodei einen Text veröffentlicht, in dem der Chef von Anthropic seine eigene Branche auffordert, langsamer zu werden.

Im Mai stand hier, dass Amodei und Sam Altman ihre Job-Apokalypse zurücknehmen, kurz vor ihren Börsengängen. Jetzt ruft Amodei die Gefahr wieder aus. Und der Börsengang ist abgesagt.

Einen Tag vorher war der 25. Jahrestag des 11. September.

Und in Freiburg sitzt eine Firma, die über Tempo gar nicht erst verhandelt. Sie baut. Eingetragen ist sie in Delaware.

Drei Geschichten, in denen es um dasselbe geht. Nicht darum, ob eine Gefahr echt ist. Sondern darum, wer die Regeln schreibt, nach denen am Ende geprüft wird.

Die Bremse kommt von dem, der vorne liegt

Der Text heißt „We Must Pace the Frontier". Der Kernsatz steht früh und ist unmissverständlich: „We must slow the pace at which we improve the capabilities of AI models." Wir müssen das Tempo drosseln, in dem wir die Fähigkeiten von KI-Modellen verbessern (Dario Amodei).

Drei Dinge stehen in diesem Text nicht, obwohl sie seit Samstag überall stehen.

Er fordert keine Pause. Von der Idee, die 2023 als offener Brief durch die Welt ging, distanziert er sich ausdrücklich. Sie habe damals wenig Sinn ergeben.

Er nennt keine Frist für die Menschheit. Die sechs bis zwölf Monate, die gerade in jeder Schlagzeile stehen, gehören zu einem einzigen Satz, und der handelt von etwas sehr Konkretem: Ein Schwarm autonomer Agenten könnte in dieser Zeit so weit sein, das Internet mit einem dauerhaften Botnetz zu übernehmen. Schaden: potenziell Hunderte Milliarden Dollar. Das ist keine Aussage über das Ende der Menschheit. Das ist eine Aussage über eine Infrastruktur, und sie ist unangenehm genug.

Und die Zahl, über die alle reden, ist nicht seine. Mehr als zehn Prozent Wahrscheinlichkeit, dass KI im nächsten Jahrzehnt alle Menschen tötet: Das hat Evan Hubinger gesagt, der bei Anthropic für Alignment zuständig ist (TIME). Er hat danach nicht gekündigt. Er ist weiter im Amt.

Die Zustimmung kam schnell. Sam Altman schrieb auf X, unabhängige Prüfer mit mitarbeiterähnlichem Zugang seien „a great idea, and we will do the same" (Sam Altman). Demis Hassabis von Google DeepMind stimmte der Richtung zu. Elon Musk schrieb drei Wörter: „Dario is right."

Altman hat am selben Tag noch etwas anderes gesagt. Den für dieses Jahr geplanten Börsengang gibt es nicht mehr. Gegenüber „Fortune": „given everything happening with safety, right now would be an ill-advised moment to go public, and we don't feel pressure on that." Auf die Frage nach einem Termin nur so viel: nicht 2026 (Fortune).

Ende Juli lag Anthropics annualisierter Umsatz bei 65 Milliarden Dollar. OpenAI kam auf 40 Milliarden. Beide Zahlen stammen aus Investorenunterlagen, testiert ist keine davon (TechCrunch).

In den Meldungen vom Wochenende kam dieser Vergleich nicht vor.

Der Mann, der die Branche zum Langsamfahren auffordert, liegt vorne.

Und der Aufruf ist keine Eingebung vom Wochenende. Ende Juli ging eine Petition online, die exakt so heißt wie Amodeis Text: „Pacing the Frontier". Sie fordert kein Moratorium, sondern dass die amerikanische Regierung die Werkzeuge mitentwickelt, mit denen man später überhaupt bremsen könnte. Unterschrieben haben inzwischen 1.386 Menschen, darunter Ilya Sutskever, Jared Kaplan, Jakub Pachocki, Mark Chen. Und Dario Amodei (Pacing the Frontier).

Sechs Wochen später schreibt er den Essay, der heißt wie die Petition, die er selbst unterschrieben hat.

Trotzdem ist der Text kein reines Manöver, und das liegt an einem Dokument, das zwei Tage vorher erschien. Amodei verlinkt es in seinem Essay selbst.

Anthropic hat am Donnerstag einen Bericht über den Missbrauch der eigenen Modelle veröffentlicht. Darin stehen sechs Fälle mit Waffenbezug. In einem davon hat eine Waffenentwicklungs-Zelle im Nordjemen mehrere Claude-Instanzen parallel laufen lassen und jeder eine Rolle zugewiesen. Eine schrieb Code. Eine recherchierte. Eine prüfte, was die erste geschrieben hatte. Die Firma vergleicht das in ihrem eigenen Bericht mit einem Teamleiter, der Arbeit in einem kleinen Ingenieurteam verteilt (Anthropic).

Zu den eigenen Modellen aus dem Vorjahr schreibt Anthropic, die hätten klar unter der Schwelle gelegen, ab der sie einem Profi bei gefährlicher biologischer Forschung spürbar helfen. Für die heutigen gibt die Firma diese Zusicherung nicht mehr.

Der härteste Satz des Dokuments ist der kürzeste. Anspruchsvolle Angriffe brauchen keine anspruchsvollen Angreifer mehr.

Das Gesetz ist tot. Das Programm läuft.

Am Freitag war der 25. Jahrestag des 11. September. In New York wurden nach der Verlesung der Namen zum ersten Mal sieben Momente der Stille gehalten. Der siebte galt den Überlebenden und Einsatzkräften, die später an den Folgen des giftigen Staubs gestorben sind (Stars and Stripes).

Es gibt dafür eine Zahl, die man ruhig zweimal lesen sollte. Die New Yorker Feuerwehr hat am 11. September 2001 343 Mitglieder verloren. An Krebs- und Atemwegserkrankungen, die auf den Einsatz am Ground Zero zurückgehen, sind seitdem 453 gestorben (FireRescue1).

Was danach kam, ist größer geworden als der Tag selbst. Das gilt für die Feuerwehr. Und es gilt für die Gesetze.

Freedom House hat im März den Jahresbericht vorgelegt. Es ist das 20. Jahr in Folge, in dem die Freiheit weltweit zurückgeht. 54 Länder haben sich verschlechtert, 35 verbessert. Heute leben 21 Prozent der Weltbevölkerung in Ländern, die als frei gelten.

Unter den Ländern, die noch als frei gelten, haben die Vereinigten Staaten im vergangenen Jahr am stärksten verloren. Drei Punkte. Seit 2005 sind es zwölf Punkte (Freedom House).

Die Rechnung für die Kriege danach führt die Brown University. Rund 8 Billionen Dollar an Haushaltsmitteln, Zinsen nicht eingerechnet. Mindestens 940.000 Menschen direkt getötet, zählt man die indirekten Toten dazu, steht dort eine Zahl zwischen 4,5 und 4,7 Millionen (Costs of War).

Und jetzt die Stelle, wegen der ich das Thema überhaupt bringe, weil sie gegen die bequeme Erzählung läuft.

Section 215 des Patriot Act, die Grundlage der massenhaften Metadatensammlung, ist am 15. März 2020 ausgelaufen. Niemand hat sie erneuert (EFF).

Und Section 702, das bekannteste Überwachungsgesetz dieser Ära, ist am 12. Juni 2026 ausgelaufen. Zum ersten Mal, seit es diesen Paragrafen gibt. Der Senat bekam die Verlängerung nicht zusammen, das Repräsentantenhaus lehnte auch eine kurze Fristverlängerung ab (EFF).

Zwei zentrale Befugnisse der Post-9/11-Ära sind juristisch tot. Wer erzählt, es werde immer nur mehr, muss das erst einmal erklären.

Nur läuft die Überwachung weiter.

Sie hängt nicht am Gesetz. Sie hängt an Anordnungen. Ein Geheimgericht genehmigt sie, jeweils für ein Jahr. Und eine Übergangsvorschrift hält jede dieser Anordnungen bis zu ihrem eigenen Ablaufdatum in Kraft, auch wenn die Rechtsgrundlage darunter wegfällt. Der Wissenschaftliche Dienst des Kongresses zitiert den Wortlaut: Jede erteilte Anordnung „shall continue in effect until the date of the expiration of such order" (Congressional Research Service).

Genehmigt hat das Gericht zuletzt im März 2026. Der Beschluss selbst ist bis heute nicht veröffentlicht, bestätigt haben ihn Abgeordnete und Mitarbeiter des Kongresses. Damit läuft die Überwachung bis etwa März 2027 weiter (Brennan Center).

Das ist auch kein juristisches Vielleicht. 2008 gab es schon einmal eine Lücke zwischen zwei Gesetzen, und Yahoo weigerte sich, eine Anordnung zu befolgen. Das Gericht entschied, die Anordnung gelte weiter, und verpflichtete Yahoo zur Herausgabe. Danach hat der Kongress die Klausel noch verstärkt. Wer heute nicht mitmacht, riskiert 250.000 Dollar Strafe. Pro Tag.

Das Gesetz ist tot. Das Programm läuft. Und niemand musste dafür ein Gesetz beschließen.

Wie schnell das alles einmal angefangen hat, steht in der Chronologie. Der Patriot Act wurde am 23. Oktober 2001 eingebracht, am 24. vom Repräsentantenhaus beschlossen, am 25. vom Senat mit 98 zu 1, am 26. unterschrieben. 45 Tage nach den Anschlägen (American Library Association).

Was in diesen Nächten im Plenum gesagt wurde, ist protokolliert. Der Abgeordnete John Conyers: „we are now debating at this hour of night, with only two copies of the bill that we are being asked to vote on available to Members on this side of the aisle." (Sunlight Foundation)

Zwei Kopien.

In Deutschland ging es kaum langsamer. Innenminister Otto Schily legte sein zweites Sicherheitspaket noch im Oktober 2001 vor. Es brachte rund 100 Gesetzesänderungen und erweiterte die Befugnisse von Nachrichtendiensten, Bundespolizei und Bundeskriminalamt. Befristet, zunächst auf fünf Jahre (Deutscher Bundestag).

In Freiburg verhandelt keiner über Tempo

Letzte Woche ging es hier um Isar Aerospace und die erste deutsche Rakete im Orbit. Die zweite Firma ist unbequemer.

Black Forest Labs sitzt in Freiburg, gegründet 2024. Die Gruppe dahinter hat vorher in Heidelberg und München die Arbeit gemacht, auf der Stable Diffusion beruht. Das aktuelle Modell erzeugt Videos von bis zu 20 Sekunden in HD, mit Ton, der gleich mitentsteht. Nach Angaben der Firma schlägt es die bisherigen Spitzenmodelle bei Text-zu-Video deutlich (Black Forest Labs). Im Dezember 2025 hat das Unternehmen 300 Millionen Dollar eingesammelt, bei einer Bewertung von 3,25 Milliarden (Black Forest Labs).

Am Freitag sagt Gründer Robin Rombach im Handelsblatt einen Satz, den man sich ausdrucken sollte: „Es hat länger gedauert, unsere GmbH anzumelden, als unser erstes KI-Modell Flux 1 zu trainieren." (Handelsblatt)

Das ist keine Pointe. Das steht in einem Formular.

Wer bei der amerikanischen Börsenaufsicht das Formular D dieser Firma aufruft, findet dort zwei Zeilen direkt untereinander. Gründungsstaat: Delaware. Geschäftsadresse: Ingeborg-Krummer-Schroth-Straße 18, Freiburg im Breisgau (SEC).

Rombach begründet das nüchtern. Als reine GmbH zu starten wäre gar nicht gegangen. Wer bei den besten Geldgebern einsammeln will, trägt sich in den USA ein. So läuft das dort.

Wer die Regeln schreibt

Drei Geschichten, eine Reihenfolge.

In Kalifornien schlägt der Marktführer vor, nach welchen Regeln er geprüft werden möchte. Der Zweitplatzierte stimmt zu und sagt seinen Börsengang ab. In Washington ist das bekannteste Überwachungsgesetz der letzten 25 Jahre im Juni gestorben. Das Programm läuft bis in den März 2027 weiter. Ein Gericht hat im Frühjahr ein Papier abgezeichnet, das niemand lesen darf. Und in Freiburg baut eine Firma an der Weltspitze mit und trägt sich in Delaware ein, weil das schneller geht.

In allen drei Fällen wird nicht über die Gefahr gestritten. Gestritten wird darüber, wer den Rahmen setzt, solange alle auf die Gefahr schauen.

2001 haben wir die Antwort schon einmal bekommen. Die Regeln von damals entstanden in 45 Tagen, mit zwei Kopien im Saal. 25 Jahre später erklärt ein Gericht, warum sie weitergelten, obwohl es sie nicht mehr gibt.

Bei KI werden die Regeln gerade erst geschrieben. Diesmal ohne Anschlag, ohne Ausnahmezustand, mit Zeit. Genutzt wird die Zeit bisher von denen, die geprüft werden sollen.

🎙 Mittwoch im Pod: Wir nehmen heute auf, und Amodeis Text ist der Aufmacher. Dazu die Frage, wer noch entscheidet, welches Produkt überhaupt entsteht, und was passiert, wenn die unterste Stufe der Karriereleiter wegfällt. Jeden Mittwoch neu: Spotify · alle Plattformen auf stephanbaier.de/podcast.

Bis nächste Woche.

— Stephan

---

P.S. Du folgst mir noch nicht? Instagram · TikTok · LinkedIn