Stellt euch vor, ein einziger Klick genügt, um euren KI-Assistenten auszunutzen und sensible Daten abzugreifen. Genau das ist Forschern bei Microsofts Copilot gelungen, eine mehrstufige Attacke, die zeigt, wie gefährlich indirekte Prompt-Injektionen sein können.

Angriff mit nur einem Klick, so funktionierte der Exploit

Der KI-Assistent Copilot von Microsoft, der auch in deutschen Unternehmen immer mehr zum Einsatz kommt, war Ziel einer besonders heimtückischen Sicherheitslücke. Aber bevor wir darauf eingehen, kannst du hier erstmal sehen, was dieser Assistent überhaupt kann:

Sicherheitsforscher der Firma Varonis haben eine mehrstufige Attacke entdeckt, die Angreifern mit nur einem Klick den Zugriff auf private Daten ermöglichen konnte. Durch eine manipulierte URL, in der ein präzise formuliertes Prompt versteckt war, ließ sich Copilot dazu bringen, vertrauliche Informationen auszulesen. Dazu gehörten unter anderem Namen, Standortdaten und Teile der Chatverläufe.

Die Daten wurden anschließend an einen von den Forschern kontrollierten Server übertragen. Besonders kritisch: Der Angriff konnte auch dann erfolgreich sein, wenn der Nutzer den Tab sofort wieder schloss. Die Schwachstelle zeigte damit deutlich, wie schnell Copilot auf versteckte Befehle reagiert und wie wichtig zusätzliche Sicherheitsprüfungen sind.

Wie der Angriff technisch ablief indirekte Prompt-Injektionen als Schwachstelle

Im Kern nutzt der Angriff eine Schwäche in der Art, wie Copilot mit Eingaben umgeht. Die Forscher von Varonis erklärten, dass Microsofts sogenannte Guardrails, die eigentlich den Missbrauch von Eingaben verhindern sollen, nur bei der ersten Anfrage greifen. Die manipulierten Prompts in der URL konnten Copilot jedoch dazu bringen, die Anfragen zu wiederholen und so fortlaufend Daten auszuspähen. Der Angriff nutzte eine versteckte Bilddatei (.jpg), die weitere Anweisungen enthielt, um immer mehr Informationen aus dem System zu ziehen. Dieses Problem wird als indirekte Prompt-Injektion bezeichnet, bei der LLMs (Large Language Models) nicht klar zwischen vertrauenswürdigen Nutzeranfragen und bösartigen Anweisungen in Daten unterscheiden können.

Microsofts Reaktion und Bedeutung für deutsche Nutzer

Varonis meldete die Sicherheitslücke verantwortungsbewusst an Microsoft, das den Fehler mittlerweile behoben hat. Die genauen Details des Angriffs wurden öffentlich gemacht, inklusive Videos, die die Funktionsweise demonstrieren. Für Nutzer in Deutschland ist das besonders relevant, da Copilot hierzulande in vielen Unternehmen und Arbeitsumgebungen eingesetzt wird. Die Attacke zeigt, dass auch hochentwickelte KI-Systeme wie Copilot nicht unverwundbar sind und dass die Absicherung von KI-Interaktionen eine neue Herausforderung darstellt. Die Diskussion um sichere KI-Nutzung wird dadurch weiter angefacht denn mit der steigenden Verbreitung solcher Tools wächst auch die Angriffsfläche für Cyberkriminelle.
Aber welche KI- Assistenten gibt es? Hier ein kurzer Vergleich:

Diese Sicherheitslücke war ein Weckruf, wie wichtig es ist, KI-Systeme sorgfältig gegen indirekte Manipulationen zu schützen. Für alle, die Copilot oder ähnliche Assistenzsysteme nutzen, heißt das vor allem: wachsam bleiben und Updates schnell installieren. Die Episode zeigt eindrücklich, wie ein einziger Klick in Zukunft mehr Schaden anrichten kann als bisher gedacht.