KI & AI

Azure AI Content Safety

Allgemeine Infos

Azure AI Content Safety ist ein Dienst in Microsoft Foundry, der Inhalte von Benutzern und KI-Modellen automatisch bewertet. Er erkennt schädliche Inhalte in den Kategorien sexuelle Inhalte, Gewalt, Hass und Selbstverletzung mit abgestuften Schweregraden und bietet zusätzliche Schutzfunktionen speziell für Sprachmodelle und Agenten.

Einsatzszenarien sind Chatbots mit Kundenkontakt, Communitys und Foren, interne KI-Assistenten und Agenten mit Werkzeugzugriff. In Azure OpenAI bzw. Foundry Models sind Inhaltsfilter (Guardrails) bereits standardmäßig aktiv und konfigurierbar. Content Safety lässt sich zusätzlich als eigenständige API vor beliebige Modelle schalten, auch vor lokale oder Fremdmodelle.

Abgrenzung: Content Safety ist ein Baustein der Foundry-Dienste (früher Azure AI Services bzw. Cognitive Services). Es ersetzt keine Datenschutzmaßnahmen wie DLP oder Vertraulichkeitsbezeichnungen in Microsoft Purview, sondern prüft den Inhalt einzelner Anfragen und Antworten.

Funktionsweise & Details

Content Safety bietet mehrere APIs:

  1. Analyze Text und Analyze Image: Bewertung nach Schadenskategorie und Schweregrad, die Anwendung entscheidet anhand eigener Schwellenwerte über Blockieren oder Zulassen.
  2. Prompt Shields: Erkennen von Angriffen in Benutzereingaben (Jailbreaks) und in eingebetteten Dokumenten (indirekte Prompt Injection).
  3. Groundedness Detection (Preview): Prüft, ob eine Modellantwort durch die mitgelieferten Quellen gedeckt ist.
  4. Protected Material Detection: Erkennt bekannte geschützte Texte wie Liedtexte oder Artikel in KI-Ausgaben.
  5. Task Adherence: Erkennt, wenn Werkzeugaufrufe eines Agenten nicht zur Aufgabe passen oder verfrüht sind.
  6. Custom Categories (Preview): Eigene Kategorien trainieren oder schnell definieren.

Blocklisten ergänzen die Modelle um eigene Begriffe, das Content Safety Studio dient zum Testen im Browser. Groundedness Detection, Protected Material und Custom Categories (Standard) unterstützen laut Microsoft nur Englisch, die übrigen Modelle wurden u. a. auf Deutsch trainiert und getestet.

Vorteile & Nutzen

  • Einheitliche Schutzschicht für alle KI-Anwendungen, unabhängig vom eingesetzten Modell
  • Prompt Shields senken das Risiko, dass präparierte Mails oder Dokumente einen Agenten fernsteuern
  • Groundedness Detection hilft, Halluzinationen in RAG-Anwendungen zu erkennen, bevor sie beim Benutzer ankommen
  • Einstellbare Schwellenwerte erlauben unterschiedliche Strenge, etwa für Kundenchat und internes Fachwerkzeug

Praxisbeispiel

Ein Stadtwerk mit 600 Beschäftigten betreibt einen öffentlichen Chatbot für Kundenfragen. Vor das Sprachmodell schaltet die IT Prompt Shields, um Jailbreak-Versuche abzufangen, und prüft Antworten auf schädliche Inhalte, bevor sie ausgegeben werden. Blockierte Anfragen landen mit Kategorie im Log und werden wöchentlich ausgewertet. So bleibt der Bot auch bei gezielten Provokationsversuchen sachlich.

Worauf sollte man achten?

  • Neben der Benutzereingabe auch die Modellantwort prüfen, weil problematische Inhalte auf beiden Seiten entstehen
  • Schwellenwerte mit realen Testdaten kalibrieren, zu strenge Filter blockieren legitime Fachfragen
  • Bei RAG und Agenten Prompt Shields auch auf abgerufene Dokumente anwenden, dort sitzen indirekte Angriffe
  • Spracheinschränkungen beachten: Einige Funktionen arbeiten nur auf Englisch
  • Content Safety als eine Schicht verstehen, Rechtevergabe und menschliche Freigaben bleiben nötig

Lizenz & Verfügbarkeit

Verbrauchsabhängig über das Azure-Abonnement mit den Tarifen F0 (kostenlos, niedrige Anfrageraten, Groundedness Detection nicht enthalten) und S0 (Standard). Inhaltsfilter in Azure OpenAI bzw. Foundry Models sind in der Modellnutzung enthalten. Preise je Funktion und Region auf der Azure-Preisseite prüfen. Mehrere Funktionen sind noch Preview ohne SLA. Stand: Oktober 2026.

Fazit

Azure AI Content Safety ist die Standard-Schutzschicht für KI-Anwendungen im Azure-Umfeld. Plane Prompt Shields für jede Anwendung ein, die fremde Inhalte oder Werkzeuge verarbeitet.

Weiterführende Links

Verwandte Artikel