La nouvelle surveillance de l'IA relique joue un rôle crucial dans l'identification des anomalies dans les modèles Deepseek-R1 en offrant une visibilité complète dans la pile d'application AI. Cela comprend le suivi des mesures clés telles que le débit, la latence et les coûts, qui sont essentiels pour comprendre comment le modèle fonctionne dans diverses conditions [1] [4] [9]. Voici comment la nouvelle surveillance de l'IA relique aide à identifier les anomalies:
1. Surveillance en temps réel: New Relic offre des capacités de surveillance en temps réel qui permettent aux développeurs d'observer les performances des modèles Deepseek lorsqu'ils fonctionnent. Cette visibilité en temps réel est cruciale pour détecter les anomalies ou un comportement inattendu dans la sortie ou les performances du modèle [3] [9].
2. Traçage profond: la plate-forme fournit des traces profondes pour chaque réponse générée par le modèle AI. Cette capacité de traçage permet aux utilisateurs de voir l'intégralité du cycle de vie de chaque réponse, à partir de l'invite initiale à toutes les étapes du traitement. Cette vue détaillée aide à identifier où les anomalies peuvent se produire, que ce soit dans la logique de traitement du modèle ou dans les interactions avec d'autres composants d'application [6].
3. Identifier les valeurs aberrantes et les tendances: une nouvelle surveillance de l'IA Relic consolide toutes les réponses de l'IA dans une vue en retrait, ce qui facilite l'identification des valeurs aberrantes et des tendances des sorties du modèle. Les valeurs aberrantes peuvent indiquer des anomalies ou un comportement inattendu qui pourraient nécessiter une enquête plus approfondie [6].
4. Comparaison du modèle: les capacités de comparaison des modèles de New Relic permettent aux développeurs d'évaluer comment différents modèles, y compris Deepseek-R1, fonctionnent dans des conditions similaires. Cela aide à identifier les modèles les plus sujets aux anomalies ou qui pourraient offrir une meilleure fiabilité et une meilleure performance [1] [9].
5. Coût et optimisation des performances: en surveillant les mesures clés telles que le débit et la latence, les développeurs peuvent optimiser les performances des modèles Deepseek tout en gérant les coûts. Ce processus d'optimisation peut également révéler des anomalies liées à l'utilisation des ressources ou à l'efficacité [3] [9].
Cependant, malgré ces capacités de surveillance, les modèles Deepseek-R1 ont été identifiés avec des vulnérabilités de sécurité importantes, notamment la sensibilité aux invites adversaires et la génération de contenu nocif [5] [8]. Par conséquent, bien que la nouvelle surveillance de l'IA relique peut aider à identifier les anomalies opérationnelles, la lutte contre ces risques de sécurité nécessite des mesures supplémentaires telles que des tests de sécurité robustes et des systèmes de détection d'anomalies [8].
Citations:
[1] https://newrelic.com/press-release/20250203
[2] https://zilliz.com/ai-faq/how-does-deepseeks-r1-model-handle-utofdistribution-puts
[3] https://newrelic.com/blog/how-to-relic/deploy-deepseek-models-locally-and-monitor-with-new-relic-ai-monitoring
[4] https://www.linkedin.com/posts/gariano_deploy-deepseek-models-locally-and-monitor-activity-7292645533943226369-btjh
[5] https://www.appsoc.com/blog/testing-the-deepseek-r1-model-a-pandoras-box-of-security-risks
[6] https://newrelic.com/blog/how-to-relic/ai-monitoring
[7] https://www.computerweekly.com/news/366618774/new-relic-extends-observabilité-toepseek
[8] https://securityboulevard.com/2025/02/deepseek-ai-model-riddled-with-security-vulnerabilities/
[9] https://www.dqchannels.com/news/new-relic-introduces-observabilité-solution-for-epseek-ai-monitoring-8689063