Sicherheitsklassifizierer verwenden verschiedene Techniken, um schädliche Inhalte zu kennzeichnen und sicherzustellen, dass KI -Systeme, insbesondere Großsprachmodelle, unsicher oder offensives Material identifizieren und mindern können. Hier sind einige der spezifischen Techniken:
1. Modelle für maschinelles Lernen: Sicherheitsklassifizierer verwenden häufig maschinelles Lernmodelle wie Distilbert, die auf Datensätzen mit Beispielen für sichere und schädliche Aufforderungen fein abgestimmt werden können. Diese Modelle lernen, Eingabeaufforderungen als sicher oder schädlich zu klassifizieren, basierend auf Mustern in den Trainingsdaten [3].
2. Gegenteil (APS): APS-Modelle werden auf verschiedenen Datensätzen wie Wikipedia-toxischen Kommentaren (WTC), Build-it-Break-it-Fix-It (BBF), Bot-Adversarial Dialogue (schlecht), anthropischer Red-Team-Versuche gegen die adversariale Einstufung (Bot-Adversarial Dialogue) ausgebildet. Diese Modelle tragen dazu bei, schädliche Inhalte zu identifizieren und zu mildern, indem sie einer Vielzahl potenzieller Angriffe ausgesetzt sind [1].
3. Konfigurierbare Inhaltsfilter: Diese Filter bewerten Inhalte basierend auf vordefinierten Kategorien wie Hassreden, Belästigung, sexuell expliziten Inhalten und gefährlichen Inhalten. Sie weisen sowohl für die Wahrscheinlichkeit und den Schweregrad des schädlichen Inhalts zu Punktzahlen zu, was anpassbare Schwellenwerte für das Blockieren von Inhalten ermöglichen [2].
4. Wenig-Shot-Lernen: Diese Technik ermöglicht es KI-Systemen, sich schnell an neue Arten schädlicher Inhalte anzupassen, indem ein allgemeines Verständnis von Themen und Lernen aus minimalen beschrifteten Beispielen nutzt. Es ermöglicht dem System, sich effizienter auf sich entwickelnde Formen schädlicher Inhalte zu reagieren [5].
5. Unified Datasets für sensible Inhalte: Forscher erstellen einheitliche Datensätze, die eine breite Palette sensibler Kategorien abdecken, einschließlich Konfliktsprache, Obszönität, sexuell explizitem Material, drogenbezogenem Inhalt, Selbstverletzung und Spam. Diese Datensätze helfen bei Schulungsmodellen, mit denen mehrere Arten von schädlichen Inhalten im Rahmen eines einzelnen Frameworks erfasst werden können [4].
6. Schweregrad- und Wahrscheinlichkeitswerte: KI -Klassifizierer verwenden sowohl Wahrscheinlichkeits- als auch Schweregradwerte, um den potenziellen Schaden des Inhalts zu bewerten. Der Wahrscheinlichkeitswert spiegelt wider, wie wahrscheinlich der Inhalt schädlich ist, während der Schweregrad der Größe des Schadens angibt. Diese Werte werden häufig in Niveaus wie vernachlässigbar, niedrig, mittel und hoch diskretisiert [2] [6].
7. Nachbearbeitung für Fairness: Techniken wie Fairness-bewusstes Nachbearbeitung werden verwendet, um Sicherheitsklassifizierer zu debarieren. Dies ist entscheidend, da Klassifikatoren, die in unausgeglichenen Daten geschult wurden, gesellschaftliche Vorurteile erlernen können, was zu unfairen Ergebnissen führt. Debiasing -Methoden tragen dazu bei, dass die Klassifizierer in ihren Bewertungen gerechter sind [8].
Zitate:
[1] https://aclanthology.org/2024.woah-1.12.pdf
[2] https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/configure-safety-filters
[3] https://github.com/aounon/certified-lm-safety
[4] https://arxiv.org/html/2411.19832v2
[5] https://about.fb.com/news/2021/12/metas-new-ai-System-tackles-harmful-content/
[6] https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/harm-categories
[7] https://safety.google/content-safety/
[8] https://arxiv.org/html/2409.13705v2