Giám sát AI di tích mới giúp tăng cường đáng kể hiệu suất của các mô hình DeepSeek-R1 bằng cách cung cấp khả năng hiển thị toàn diện và những hiểu biết có thể hành động về hoạt động của chúng. Đây là cách nó đạt được điều này:
1. Giám sát hiệu suất thời gian thực: Giám sát AI di tích mới cho phép các nhà phát triển giám sát các ứng dụng được xây dựng trên các mô hình DeepSeek-R1 trong thời gian thực. Điều này bao gồm theo dõi các số liệu chính như hiệu suất, chất lượng và chi phí, cho phép nhận dạng nhanh và giải quyết các vấn đề [1] [4].
2. So sánh và tối ưu hóa mô hình: Nền tảng cung cấp các khả năng so sánh mô hình, giúp các doanh nghiệp tối ưu hóa chất lượng, hiệu suất và chi phí của các mô hình DeepSeek-R1. Tính năng này cho phép các nhà phát triển đánh giá tác động của việc chuyển đổi giữa các mô hình khác nhau, đảm bảo họ chọn mô hình tốt nhất cho nhu cầu ứng dụng cụ thể của họ [4] [7].
3. Khả năng hiển thị từ đầu đến cuối: Giám sát AI di tích mới tích hợp với APM 360 để cung cấp khả năng hiển thị từ đầu đến cuối trên toàn bộ ngăn xếp AI. Điều này bao gồm các dịch vụ, cơ sở hạ tầng và các mô hình AI, cho phép các nhà phát triển tương quan hiệu suất ứng dụng AI với xu hướng ngược dòng và xu hướng xu hướng trong thời gian thực [10].
4. Truy tìm và phân tích sâu: Nền tảng cung cấp dấu vết sâu cho mỗi phản hồi của AI, cung cấp cho các nhà phát triển một cái nhìn chi tiết về cách các ứng dụng AI của họ hoạt động. Điều này giúp xác định các ngoại lệ, xu hướng và nguyên nhân gốc rễ của các vấn đề, giúp khắc phục sự cố hiệu quả hơn [10].
5. Bảo mật và bảo mật dữ liệu: Relic mới hỗ trợ quyền riêng tư dữ liệu bằng cách cho phép các nhà phát triển loại trừ dữ liệu nhạy cảm khỏi giám sát, đảm bảo rằng thông tin nhận dạng cá nhân (PII) được bảo vệ trong quá trình giám sát ứng dụng AI [1] [11].
6. Hiệu quả chi phí: Bằng cách tích hợp với các mô hình hiệu quả chi phí của Deepseek, giám sát AI di tích mới giúp giảm chi phí phát triển AI. Nó cung cấp cái nhìn sâu sắc về việc sử dụng mã thông báo, điều này rất quan trọng để tối ưu hóa chi phí ứng dụng AI [4] [11].
Nhìn chung, giám sát AI di tích mới giúp tăng cường hiệu suất của các mô hình DeepSeek-R1 bằng cách cung cấp một giải pháp quan sát toàn diện giúp đơn giản hóa sự phát triển, triển khai và giám sát các ứng dụng AI, đồng thời đảm bảo độ tin cậy, chất lượng và hiệu quả chi phí.
Trích dẫn:
[1] https://newrelic.com/blog/how-to-relic/deploy-deepseek-models-locally-and-monitor-with-new-relic-ai-monitoring
[2] https://newrelic.com/blog/how-to-relic/performance-monitoring-newrelic-ai
[3] https://learn.odoo.com/groups/in-5/new-relic-extends-its-ai-monitoring-to-support-deepseek-4237?mode=date
[4] https://newrelic.com/press-release/20250203
[5] https://www.businesswire.com/news/home/20240423849633/en/New-Relic-Enhances-AI-Monitoring-Industry%E2%80%99s-First-APM-for-AI
[6] https://blog.devops.dev/aws-observability-tools-for-bedrock-large-language-models-d732363993fd
[7] https://radicaldatascience.wordpress.com/tag/deepseek/
[8] https://newrelic.com/blog/nerdlog/ai-monitoring- ga
[9] https://www.linkedin.com/posts/gariano_deploy-deepseek-models-locally-and-monitor-activity-7292645533943226369-BtJH
[10] https://newrelic.com/blog/how-to-relic/ai-monitoring
[11] https://www.computerweekly.com/news/366618774/New-Relic-extends-observability-to-DeepSeek