Моніторинг AI New Relic розроблений для забезпечення всебічної видимості в стеку AI, що включає додатки, побудовані з DeepSeek. Ця можливість дійсно може допомогти визначити вузькі місця в додатках DeepSeek, пропонуючи кілька ключових функцій:
1. Повна видимість стека AI: Нова реліквія забезпечує цілісний вигляд у програмі, інфраструктурі та шару AI. Сюди входять такі показники, як час відповіді, використання жетонів та частота помилок, які мають вирішальне значення для виявлення вузьких місць у програмах AI, як ті, що були побудовані з DeepSeek [1] [4].
2. Глибокі сліди слідів: Платформа пропонує детальні можливості відстеження, які дозволяють розробникам відстежувати життєвий цикл складних відповідей AI. Ця функція особливо корисна для усунення проблем з продуктивністю в моделях DeepSeek, аналізуючи, як обробляються входи та виходи [7].
3. У режимі реального часу: Моніторинг AI New Relic пропонує розуміння в реальному часі через стек AI, послуги, що охоплюють, інфраструктуру та шар AI. Це забезпечує ефективні, надійні та рентабельні операції, надаючи комплексні показники щодо пропускної здатності, затримки та витрат [2] [6].
4. Порівняння моделі: Платформа дозволяє порівняння моделі, що дозволяє розробникам оцінювати наслідки продуктивності під час перемикання між моделями AI. Ця функція корисна для оптимізації додатків DeepSeek, вибравши найбільш ефективні моделі на основі показників продуктивності та витрат [5] [9].
5. Посилена безпека даних: Моніторинг New Relic включає такі функції, як Drop Filters, які дозволяють селективному виключенню конфіденційних типів даних, забезпечення дотримання та захисту конфіденційності користувачів. Це важливо для підтримки довіри до додатків AI під час усунення несправностей вузьких місць [1].
6. Забезпечення надійності та якості: Забезпечуючи повну видимість у виконанні додатків AI DeepSeek, New Relic допомагає бізнесу швидко визначити та вирішити проблеми. Ця впевненість у надійності має вирішальне значення для підтримки високоякісних послуг AI та негайно вирішувати вузькі місця [2] [6].
В цілому, моніторинг AI New Relic добре обладнаний, щоб допомогти визначити та вирішити вузькі місця в додатках DeepSeek, пропонуючи вичерпний набір інструментів для оптимізації продуктивності, вибору моделі та моніторингу в режимі реального часу.
Цитати:
[1] https://docs.newrelic.com/whats-new/2024/03/whats-new-03-28-aimonitoringga/
[2] https://theexchangeasia.com/new-relic-unveils-first-ever-ai-observability-for-deepseek/
[3] https://newrelic.com/blog/how-to-relic/deploy-deepseek-models-locally-and-monitor-with-new-relic-ai-monitoring
[4] https://newrelic.com/blog/how-to-relic/ai-in-observability
[5] https://newrelic.com/press-release/202502033
[6] https://ecommercenews.com.au/story/new-relic-unveils-ai-monitoring-for-deepeek-applications
[7] https://newrelic.com/blog/nerdlog/ai-monitoring-ga
[8] https://www.computerweekly.com/news/366618774/new-relic-extends-observability-teepseek
[9] https://newrelic.com/platform/ai-monitoring