OWASP Top 10 für LLMs: Neue Sicherheitsherausforderungen durch KI

18. Juni, 2025

Mit dem Aufstieg großer Sprachmodelle (Large Language Models, LLMs) wie ChatGPT, Gemini & Co. eröffnen sich Unternehmen sowohl große Chancen als auch neue Sicherheitsrisiken. Um diesen zu begegnen, hat die OWASP Foundation eine spezielle Top-10-Liste für LLM-Anwendungen veröffentlicht [1]. Ziel ist es, Entwickler:innen, Architekt:innen, IT-Sicherheitsteams und Unternehmen für die spezifischen Gefahren im Umgang mit KI zu sensibilisieren.

Denn LLMs generieren nicht nur Texte, schreiben Code, übersetzen Inhalte oder analysieren Daten – sie eröffnen zugleich neue Angriffsflächen. Ohne geeignete Schutzmaßnahmen können diese Schwachstellen zu erheblichen Sicherheitsvorfällen führen. Die folgenden zehn Risiken benennt OWASP als besonders kritisch.

Die OWASP Top 10 Risiken für LLM-Anwendungen

Prompt Injection: Manipulierte Benutzereingaben (Prompts) verleiten das Modell zu schädlichen Ausgaben, etwa durch Umgehung von Sicherheitsrichtlinien. Ein prominentes Beispiel: Ein Chevrolet-Chatbot verkaufte Fahrzeuge für 1 US-Dollar [2].

Sensitive Information Disclosure: LLMs können vertrauliche Daten preisgeben – etwa durch riskante Eingaben oder unkontrolliertes Training. 2023 ermöglichte ein Bug in ChatGPT den Zugriff auf fremde Chatverläufe und Metadaten [3]. Bei offenen Modellen bleibt oft unklar, wie mit den eingegebenen Daten umgegangen wird.

Supply Chain: Vortrainierte Modelle, externe Datenquellen oder Drittanbieter-Plugins können Schwachstellen enthalten oder kompromittiert sein.

Data & Model Poisoning: Angreifer:innen manipulieren Trainingsdaten, um gezielt fehlerhafte, voreingenommene oder schädliche Ergebnisse zu provozieren.

Improper Output Handling: Ohne eine sorgfältige Filterung und Validierung der LLM-Ausgaben besteht ein erhebliches Risiko für Sicherheitslücken wie Code-Injektionen oder Cross-Site Scripting. Tatsächlich wurde ChatGPT bereits nachweislich zur Erstellung von Malware missbraucht – trotz bestehender Schutzmechanismen [4].

Excessive Agency: Modelle mit zu weitreichenden Befugnissen können unvorhersehbare oder sicherheitskritische Aktionen ausführen – insbesondere bei Systeminteraktionen.

System Prompt Leakage: Werden Systemanweisungen oder Konfigurationsdetails offengelegt, kann dies gezielt zur Manipulation des Modells genutzt werden.

Vector and Embedding Weaknesses: Besonders in RAG-Systemen (Retrieval-Augmented Generation) entstehen Risiken durch fehlerhafte Vektorverarbeitung oder -manipulation.

Misinformation: LLMs erzeugen oft überzeugende, aber falsche Inhalte – sogenannte Halluzinationen. Mit leistungsfähigeren Modellen tritt dieses Phänomen häufiger auf [5] und kann von harmloser Verwirrung bis hin zu Reputations- oder Geschäftsschäden führen.

Unbounded Consumption: Unkontrollierter Ressourcenverbrauch durch das Modell kann zu massiven Kosten oder Systemausfällen führen.

Praxisnahe Empfehlungen für einen sicheren LLM-Einsatz

Datenverantwortung & Governance

Datenklassifizierung: Definieren Sie klar: Was ist öffentlich, intern oder vertraulich? Diese Einordnung muss in den Richtlinien für LLM-Nutzung verankert sein – auch für interne Modelle.
Keine sensiblen Daten in öffentliche LLMs: Daten mit Wettbewerbsrelevanz oder personenbezogene Informationen gehören nicht in externe Dienste. Setzen Sie stattdessen auf On-Premise-Lösungen oder dedizierte Cloud-Instanzen.
Mitarbeiterschulung: Vermitteln Sie Risiken wie Halluzinationen oder Desinformation. Faktenchecks und kritisches Hinterfragen sollten Standard sein.

Technische Absicherung von LLMs

Input-Validierung & Sanitization: Überprüfen Sie Prompts konsequent. Nutzen Sie Whitelisting, Filtersysteme oder sogar eine vorgeschaltete „LLM-Firewall“, um schädliche Eingaben zu blockieren.
Output-Filterung & Moderation: Validieren Sie die Ausgaben vor Weitergabe an Endnutzer:innen. Nutzen Sie Regeln oder ein zweites LLM zur Bewertung problematischer Inhalte.
API-Sicherheit: Sichern Sie LLM-APIs mit starken Authentifizierungsmechanismen, begrenzen Sie Zugriffe auf das Nötigste und implementieren Sie Rate Limiting.

Sicherheitsbewusstsein schaffen

Regelmäßige Schulungen: Verdeutlichen Sie anhand praxisnaher Beispiele (z. B. das Chevrolet-Experiment), welche Risiken existieren.
Transparente Richtlinien: Erklären Sie nicht nur das „Was“, sondern auch das „Warum“ hinter Nutzungsvorgaben.
Storytelling & Fallstudien: Menschen erinnern sich eher an Geschichten als an Checklisten.
Regulatorisches Monitoring: Seit dem 1. August 2024 ist der EU AI Act in Kraft. Er verpflichtet Anbieter und Nutzer zu klaren Regeln und Transparenz – abhängig von der Risikoklasse der KI-Anwendung.

Weiterführende Leitfäden & Empfehlungen

Das AI Risk Management Framework (AI RMF) des NIST liefert mit seinem „Map – Measure – Manage – Govern“-Ansatz einen fundierten Leitfaden für die Bewertung und Steuerung von KI-Risiken [6].
Die ENISA, Europas Cybersicherheitsbehörde, hat ein Multilayer Framework for Good Cybersecurity Practices for AI veröffentlicht. Es bietet konkrete technische und organisatorische Empfehlungen entlang des gesamten KI-Lebenszyklus [7].
Rechtliche Orientierung bietet der EU AI Act mit einer einheitlichen Klassifikation von KI-Risiken und verbindlichen Pflichten für Anbieter und Nutzer [8].

Fazit: LLMs sicher und zukunftsorientiert nutzen

Die Zeit der KI und Large Language Models hat gerade erst begonnen und die Entwicklung schreitet rasant voran. Mit durchdachten Governance-Strukturen, technischen Schutzmaßnahmen und einem ausgeprägten Sicherheitsbewusstsein lassen sich die neuen Herausforderungen für die IT-Sicherheit gezielt adressieren. Richtig eingesetzt, kann KI ein nachhaltiger Produktivitätsmotor sein.