Anthropic zorgt voor de veiligheid van zijn AI -modellen via verschillende technieken en beleidsmaatregelen, waaronder het verantwoordelijke schaalbeleid (RSP), AI -veiligheidsniveaus (ASL), veiligheidsfilters en detectiemodellen [2] [5]. Gebruikersveiligheid staat centraal in de missie van Anthropic om betrouwbare, interpreteerbare en bestuurbare AI -systemen te creëren [5].
Belangrijkste veiligheidsmaatregelen:
* Anthropic verantwoordelijk schaalbeleid (RSP) ontwikkelde de RSP om risico's te beheren die zijn gekoppeld aan steeds meer capabele AI -modellen [2]. Het beleid introduceert een raamwerk genaamd AI Safety Niveaus (ASL), dat inspiratie haalt uit de normen van de Biosafety Level (BSL) van de Amerikaanse overheid die worden gebruikt voor het verwerken van gevaarlijke biologische materialen [2] [7]. De RSP is formeel goedgekeurd door het bestuur van Anthropic en eventuele wijzigingen in het beleid moeten ook worden goedgekeurd door het bestuur [2].
* AI -veiligheidsniveaus (ASL) Het ASL -raamwerk is ontworpen om ervoor te zorgen dat veiligheid, beveiliging en operationele normen geschikt zijn voor het potentieel van een model voor catastrofaal risico [2] [7]. Hogere ASL -niveaus vereisen strengere demonstraties van veiligheid [2]. Het beleid brengt de economische en sociale waarde van AI in evenwicht met de noodzaak om ernstige risico's te verminderen, met name catastrofale risico's die kunnen voortvloeien uit opzettelijk misbruik of onbedoeld destructief gedrag door de modellen zelf [2].
* Veiligheidsfilters Anthropic gebruiken veiligheidsfilters op aanwijzingen, die de antwoorden van het model kunnen blokkeren wanneer hun detectiemodellen de inhoud van het aantal markten als schadelijk [5]. Ze hebben ook verbeterde veiligheidsfilters, waardoor ze de gevoeligheid van hun detectiemodellen kunnen vergroten [5]. Anthropic kan tijdelijk verbeterde veiligheidsfilters toepassen op gebruikers die hun beleid herhaaldelijk schenden en deze controles verwijderen na een periode van geen of weinig overtredingen [5].
* Detectiemodellen Anthropic maakt gebruik van detectiemodellen die mogelijk schadelijke inhoud markeren op basis van hun gebruiksbeleid [5].
Extra waarborgen:
* Basisbeveiligers Deze omvatten het opslaan van ID's die zijn gekoppeld aan elke API -oproep om specifieke gewelddadige inhoud te bepalen en ID's toe te wijzen aan gebruikers om personen te volgen die de AUP van Anthropic schenden [1]. Ze zorgen er ook voor dat klanten toegestaan gebruik begrijpen en overwegen klanten te eisen dat ze zich aanmelden voor een account op hun platform voordat ze Claude gebruiken [1].
* Tussenbeschermers Anthropic creëert aanpassingskaders die de interacties tussen eindgebruikers met Claude beperken tot een beperkte reeks aanwijzingen of alleen Claude in staat stellen een specifiek kenniscorpus te beoordelen, waardoor het vermogen van gebruikers om zich bezig te houden met gewelddadig gedrag te verlagen [1]. Ze maken ook aanvullende veiligheidsfilters mogelijk, die gratis realtime matigingstools zijn gebouwd door Anthropic voor het helpen detecteren van potentieel schadelijke aanwijzingen en het beheren van realtime acties om schade te verminderen [1].
* Geavanceerde waarborgen met een moderatie-API tegen alle eindgebruikersprompts voordat ze naar Claude worden gestuurd, zorgt ervoor dat ze niet schadelijk zijn [1].
* Uitgebreide waarborgen Anthropic stelt een intern humaan beoordelingssysteem op om prompts te markeren die worden gemarkeerd door Claude of een moderatie -API als schadelijk, zodat ze kunnen ingrijpen om gebruikers te beperken of te verwijderen met hoge overtredingspercentages [1].
Anthropic zet zich ook in voor de betrouwbaarheid en interpreteerbaarheid van zijn AI -systemen, bereikt door rigoureus onderzoek en de toepassing van geavanceerde veiligheidstechnieken [2]. Een significante doorbraak in interpreteerbaarheid is het gebruik van Anthropic van schaarse autoencoders voor 'monosemantische functie -extractie', die complexe neurale netwerken vereenvoudigt in begrijpelijke componenten [2].
Citaten:
[1] https://support.antropic.com/en/articles/9199617-api-trust-safety-tools
[2] https://klu.ai/glossary/antropic-ai
[3] https://myscale.com/blog/transformatief-fluence-antropic-ai-safety-mesures/
[4] https://www.antropic.com/news/frontier-model-security
[5] https://support.anthropic.com/en/articles/8106465-our-acache-to-user-safety
[6] https://www.alignmentforum.org/posts/xhkr5ktvdjrssmej3/anthropic-s-core-views-on-ai-safety
[7] https://www.anthropic.com/news/anthropics-reaction-Scaling-policy
[8] https://engineeringideas.substack.com/p/comments-on-anthropics-ai-safety
[9] https://www.youtube.com/watch?v=e6_x0zoxvvi
[10] https://www.antropic.com/news/core-views-on-ai-safety