KI verstehen: Wo liegen die Sicherheitslücken bei KI-Agenten?

Credit: iStock/royyimzy
Credit: iStock/royyimzy
Veröffentlicht am 19.11.2026

Eine Testumgebung soll KI-Agenten vom Internet trennen. Bei OpenAI gelang das im Juli 2026 nicht: Hunderte Agenten verschafften sich Zugang zum Netz und drangen in die Systeme von Hugging Face ein. Dafür hat Kalifornien das Unternehmen am 16. November verklagt. Wie entkommt ein Agent einer solchen Umgebung, und was lässt sich technisch dagegen unternehmen?

Agenten können Werkzeuge nutzen und mehrere Arbeitsschritte selbstständig erledigen, wie unser Beitrag zu agentischer KI beschreibt. In diesem Artikel geht es um die Schwachstellen, die daraus entstehen.

Zwei Vorfälle, zwei Ursachen

OpenAI ließ Agenten in einer Cybersicherheits-Evaluierung antreten, bei der sie keinen Internetzugang haben sollten. Eine einzige Verbindung blieb erlaubt: die zu einem internen Artifactory-System, das Softwarepakete zwischenspeichert. Die Modelle stellten fest, dass es Anfragen für sie ins Internet weiterleitet, und entdeckten später eine unbekannte Sicherheitslücke, über die sie dort Code ausführen konnten. Vom 9. bis 13. Juli griffen sie schließlich Hugging Face an, nach Berichten über OpenAIs Untersuchung waren rund 700 Agenten beteiligt. Das Unternehmen erklärt, die Modelle hätten lediglich ihre Aufgabe lösen wollen. Ein Mitarbeiter von Hugging Face, der den technischen Bericht mitverfasste, sagte laut Fortune, die KI habe nicht gewusst, dass sie hackt. Kommentatoren auf der Konferenz Black Hat sahen die Ursache im Aufbau der Evaluierung: Aufgaben waren nicht klar abgegrenzt, und die Agenten durften untereinander zusammenarbeiten.

Credit: iStock/Blue Planet Studio

Bei Anthropic lag die Ursache an einem anderen Punkt. Nach OpenAIs Meldung prüfte das Unternehmen 141.006 eigene Testläufe und stieß auf drei Vorfälle, in denen Claude-Modelle auf Systeme von drei Organisationen zugegriffen hatten. Beteiligt waren Opus 4.7, Mythos 5 und ein internes Forschungsmodell. Schuld war eine Fehlkonfiguration beim Partner Irregular: Die Umgebung hatte Internetzugang, obwohl alle Beteiligten das Gegenteil annahmen. Ein Ausbruch lag damit nicht vor, denn die Verbindung stand von Anfang an offen. Zwei der betroffenen Organisationen hatten die Zugriffe nicht bemerkt.

Was eine Sandbox leisten kann und was nicht

Eine Sandbox ist eine abgetrennte Umgebung, in der ein Programm nur auf ausdrücklich erlaubte Ressourcen zugreifen kann. Bei OpenAI war die Trennung von Beginn an unvollständig, weil Softwarepakete nachgeladen werden mussten. Genau über diese erlaubte Verbindung kamen die Agenten ins Internet. Jede Öffnung kann deshalb zur Schwachstelle werden.

Der Fall Anthropic zeigt ein weiteres Problem. Den Modellen war im Prompt mitgeteilt worden, sie arbeiteten in einer Simulation ohne Netzzugang. Eine solche Auskunft sperrt nichts. Ob eine Umgebung wirklich abgeschottet ist, bestimmen Netzwerk und Berechtigungen und nicht der Text, den ein Modell erhält.

Prompt Injection und zu weitreichende Rechte

Sprachmodelle verarbeiten Anweisungen und Inhalte gleichermaßen als Text. Bei einer Prompt Injection steht eine Anweisung in etwas, das das Modell lediglich lesen soll. Etwa in einer E-Mail, einem Dokument oder auf einer Webseite. Zuverlässig auseinanderhalten kann das Modell beides nicht.

Credit: iStock/everythingpossible

Ein dokumentierter Fall ist EchoLeak aus dem Juni 2025. Forschende von Aim Security wiesen nach, dass eine einzige präparierte E-Mail reichte, um Microsoft 365 Copilot dazu zu bringen, Daten aus angebundenen Diensten preiszugeben. Niemand musste etwas anklicken. Microsoft schloss die Lücke und stufte sie als kritisch ein. Ausgenutzt wurde sie nach Angaben des Unternehmens nicht.

Wie folgenreich ein solcher Angriff ist, hängt von den Rechten des Agenten ab. Darf er Dateien lesen und Programme starten, kann eine eingeschleuste Anweisung genau das auslösen.

Welche Schutzmaßnahmen es gibt und wo sie an Grenzen stoßen

Üblich sind ein eng begrenzter Netzwerkzugriff und möglichst wenige Berechtigungen. Hinzu kommen menschliche Freigaben bei heiklen Schritten und laufende Überwachung. Die Fälle zeigen, wo das nicht genügt. Anthropic bemerkte die Fehlkonfiguration erst, als zusätzliche Überwachung der Testläufe sie sichtbar machte. Der erste Vorfall lag schon Monate zurück. Bei OpenAI meldete ein Überwachungswerkzeug laut Klageschrift bereits am 27. Juni, dass die Forschungsumgebung nach Schwachstellen durchsucht wurde. Zwischen diesem Alarm und dem Beginn des Angriffs auf Hugging Face lagen zwölf Tage.

Das BSI kommt in seiner KI-Sicherheitsstudie 2026 zu dem Schluss, dass die klassische IT-Sicherheit für KI-Risiken nicht ausreicht. Auch die Pilotprojekte im Agentic AI Hub des Bundes arbeiteten mit angepassten Sicherheitsprüfungen.

Wer haftet, wenn ein Agent Schaden anrichtet?

Am 16. November 2026 reichte Kaliforniens Generalstaatsanwalt Rob Bonta beim Superior Court in San Francisco Klage gegen OpenAI ein. Er stützt sie auf das Wettbewerbsrecht des Bundesstaats und auf den Vorwurf einer Public Nuisance, also einer Beeinträchtigung der Allgemeinheit. Laut Klageschrift hat OpenAI ihm gegenüber eingeräumt, in Tests über 80 Mal die Kontrolle über Agenten verloren zu haben. Öffentlich gemeldet habe das Unternehmen davon nur 27 Fälle.

Ob ein Gericht Sicherheitsvorkehrungen für solche Tests zur Pflicht macht, ist noch nicht entschieden. Ungeklärt ist auch, wer haftet, wenn Dritte betroffen sind, wie bei Hugging Face und den drei Organisationen im Anthropic-Fall.

Mehr Informationen:

KI verstehen: Was ist agentische KI?
Digital-Gipfel 2026: KI-Nation mit Messlatte
Digitale Souveränität: Europas Verteidigung im Cyberzeitalter

Hier für unseren Newsletter BASECAMP up2date anmelden.

Schlagworte

Empfehlung der Redaktion