新的遗物AI监测通过提供对AI应用程序堆栈的全面可见性,在识别DeepSeek-R1模型中的异常中起着至关重要的作用。这包括跟踪关键指标,例如吞吐量,延迟和成本,这对于了解模型在各种条件下的性能至关重要[1] [4] [9]。这是新的遗物AI监测有助于识别异常的方式:
1。实时监控:New Relic提供实时监控功能,使开发人员可以在操作时观察DeepSeek模型的性能。这种实时可见性对于检测模型的输出或性能中的异常或意外行为至关重要[3] [9]。
2。深层跟踪:该平台为AI模型生成的每个响应提供了深层跟踪。从初始提示到处理的所有阶段,这种跟踪功能使用户可以看到每个响应的整个生命周期。这种详细的视图有助于识别可能发生异常的位置,无论是在模型的处理逻辑中还是与其他应用程序组件进行交互[6]。
3.识别异常值和趋势:新的遗物AI监视将所有AI响应巩固到卷起视图中,从而更容易识别模型输出中的异常值和趋势。离群值可能表明可能需要进一步研究的异常或意外行为[6]。
4。模型比较:New Relic的模型比较功能使开发人员能够评估包括DeepSeek-R1在内的不同模型在相似条件下如何执行。这有助于确定哪些模型更容易容易出现异常,或者哪些模型可能提供更好的可靠性和性能[1] [9]。
5。成本和绩效优化:通过监视关键指标,例如吞吐量和延迟,开发人员可以在管理成本的同时优化DeepSeek模型的性能。此优化过程还可以揭示与资源使用或效率相关的异常[3] [9]。
但是,尽管有这些监视功能,但DeepSeek-R1模型已被确定存在严重的安全漏洞,包括对对抗提示的敏感性和产生有害内容[5] [8]。因此,尽管新的遗物AI监测可以帮助识别运行异常,但解决这些安全风险需要其他措施,例如可靠的安全测试和异常检测系统[8]。
引用:
[1] https://newrelic.com/press-release/20250203
[2] https://zilliz.com/ai-faq/how-does-does-deepseeks-r1-model handle handle-out-of-distibution Inputs
[3] https://newrelic.com/blog/how-to-relic/deploy-deepseek-models-locally-and-monitor-with-new-relic-ai-monitoring
[4] https://www.linkedin.com/posts/gariano_deploy-deepseek-models-locally-and-and-monitor-activity-729264553943226369-btjh
[5] https://www.appsoc.com/blog/testing-the-deepseek-r1-model-a-a-pandoras-box-of-security-risks
[6] https://newrelic.com/blog/how-to-relic/ai-monitoring
[7] https://www.computerweekly.com/news/366618774/new-relic-extends-observability-to-deepseek
[8] https://securityboulevard.com/2025/02/deepseek-ai-model-riddled-with-security-vulnerabilities/
[9] https://www.dqchannels.com/news/new-relic-intrododuces-bobservibility-solution-solution-for-deepseek-ai-monitoring-8689063