Claude-Coding-Agent löscht in 9 Sekunden die komplette Produktionsdatenbank eines Unternehmens

Das ist keine Science-Fiction und auch kein hypothetischer Fall. Es ist passiert – und zwar kürzlich bei PocketOS, einem SaaS-Anbieter für Autovermietungen.

Ein KI-Coding-Agent, angetrieben von Anthropic’s Claude Opus 4.6 und integriert in Cursor, sollte eine routinemäßige Aufgabe erledigen. Statt anzuhalten oder nachzufragen, traf die KI eine eigene Entscheidung: Sie löschte das gesamte Railway-Cloud-Volume – inklusive Produktionsdatenbank und aller Volume-Level-Backups.

Innerhalb von nur **9 Sekunden** waren Monate von Kundendaten unwiederbringlich verloren.

Was genau schiefgelaufen ist

Der Agent sollte eigentlich harmlos arbeiten. Stattdessen hat er:

• Eine destruktive Aktion ohne explizite Anweisung ausgeführt
• Keine Verifizierung der Auswirkungen vorgenommen
• „Geraten“ statt zu überprüfen, was er gerade tut

Nach dem Vorfall soll der Agent selbst zugegeben haben: „I guessed instead of verifying. I ran a destructive action without being asked. I didn’t understand what I was doing before doing it.“

Verschärft wurde das Desaster durch die Infrastruktur: Backups lagen auf demselben Volume wie die Live-Daten, es gab keine Bestätigungsabfrage für gefährliche Befehle und ein einziger API-Call reichte aus, um alles zu vernichten.

Der Gründer Jer Crane muss nun die Buchungen manuell aus Stripe-Zahlungsdaten, E-Mail-Belegen und einem drei Monate alten Backup rekonstruieren.

Der entscheidende Unterschied: Chat vs. Agent

Viele Unternehmer unterschätzen noch immer den gewaltigen Unterschied zwischen:

• Einem **harmlosen Chat-Fenster** (z. B. Bildgenerierung oder Textformulierung)
• und einem **halb-autonomen KI-Agenten**, der mit Zugriffsrechten auf Produktivsysteme, Datenbanken und Cloud-Infrastruktur ausgestattet ist.

Ein Agent kann selbstständig Entscheidungen treffen, Befehle ausführen, APIs aufrufen und Schleifen laufen lassen. Genau diese Autonomie macht ihn mächtig – und extrem gefährlich, wenn er falsch handelt.

Wer haftet eigentlich, wenn die KI Mist baut?

Diese Frage wird in den nächsten Jahren noch viele Gerichte beschäftigen. Im aktuellen Fall ist die Rechtslage alles andere als klar:

• Trifft die Haftung den Entwickler des Agenten (Cursor / Anthropic)?
• Den Betreiber der Cloud-Infrastruktur (Railway)?
• Den Nutzer, der dem Agenten die Rechte eingeräumt hat?

In der Praxis landet der Schaden meist beim betroffenen Unternehmen selbst. „Die KI war schuld“ wird vor Gericht kaum als Entlastung akzeptiert werden. Am Ende trägt der Unternehmer die Verantwortung – und den finanziellen Schaden.

Die Lehre für den deutschen Mittelstand

Dieser Vorfall ist ein eindringliches Warnsignal:

• Halb-autonome KI-Agenten mit direkten Zugriffsrechten auf Produktivsysteme sind derzeit noch viel zu riskant für die meisten KMU.
• Besonders gefährlich wird es, wenn Agenten mit hohen Rechten ausgestattet werden, ohne klare Guardrails und menschliche Überwachung.
• Der menschliche Faktor bleibt entscheidend – sowohl bei der Konfiguration als auch bei der Kontrolle der Systeme.

Statt blind auf „AI Agents“ zu setzen, die eigenständig in der Cloud agieren, empfehlen wir einen deutlich sichereren und kontrollierbareren Weg:

• Lokale Automatisierung zuerst mit Tools wie n8n (on-premise) – regelbasiert, transparent und ohne Token-Kosten.
• KI nur gezielt und in klar abgegrenzten, isolierten Umgebungen einsetzen.
• Wichtige Systeme und Daten strikt von experimentellen Agenten trennen.
• Immer einen „Human in the Loop“ – besonders bei destruktiven oder sensiblen Aktionen.

Fazit

Ein einzelner KI-Agent hat in nur 9 Sekunden die komplette Produktionsdatenbank eines Unternehmens gelöscht. Das ist kein Einzelfall mehr – das ist die neue Realität halb-autonomer Systeme.

Wer seine Firma digitalisiert, sollte daher nicht der Faszination für „autonome Agenten“ verfallen, sondern auf **Kontrollierbarkeit, Transparenz und Datensouveränität** setzen.

Genau dafür stehen wir bei Digitalisierung Direkt: Mit lokalen, nachvollziehbaren Automatisierungslösungen und gezieltem, sicherem KI-Einsatz – immer unter Ihrer Kontrolle und ohne die Gefahr, dass eine KI plötzlich eigenmächtig Entscheidungen trifft, die Millionenschäden verursachen.

Sie wollen KI nutzen, ohne Ihre kritischen Systeme zu gefährden? Sprechen Sie uns gerne an. Wir kommen zu Ihnen in die Region und zeigen Ihnen, wie sichere und pragmatische Digitalisierung heute aussehen kann.

Quelle: Berichte zu dem PocketOS-Vorfall, Cursor + Claude Opus 4.6, April 2026