Так, новий моніторинг AI реліквії може відстежувати використання токенів для оптимізації витрат у додатках DeepSeek. Ця здатність є частиною всебічного вирішення спостережливості New Relic, розробленого спеціально для моніторингу DeepSeek, генеративної моделі AI (Genai). Інтегруючи моніторинг AI New Relic з DeepSeek, підприємства можуть отримати повну видимість у своїх програмах AI, включаючи ключові показники, такі як використання жетонів, пропускна здатність, затримка та витрати. Ця інтеграція підтримує DeepSeek та DeepSeek на Microsoft Azure AI Foundry, забезпечуючи спрощену установку з підвищеною безпекою даних [1] [2] [4].
Відстеження використання жетонів для оптимізації витрат:
Моніторинг AI New Relic дозволяє підприємствам відстежувати використання токенів, що має вирішальне значення для управління витратами на розвиток ШІ. Використання жетонів є важливим фактором у визначенні вартості запуску моделей AI, оскільки багато послуг AI стягують на основі кількості оброблених жетонів. Контролюючи використання жетонів, компанії можуть оптимізувати свої витрати на ШІ, визначивши сфери, де використання жетонів може бути зменшено без шкоди для ефективності. Ця можливість також дозволяє підприємствам приймати обґрунтовані рішення щодо вибору та розгортання моделі, гарантуючи, що вони обирають найбільш економічні моделі для своїх програм [5] [8].
Переваги нового моніторингу AI для DeepSeek:
1. Забезпечення надійності та якості: Нова реліквія забезпечує повну видимість у виконанні додатків AI DeepSeek, що дозволяє бізнесу швидко визначати та вирішувати проблеми. Це гарантує, що додатки надійно працюють та підтримують високу якість [1] [4].
2. Оптимізація витрат: Відстежуючи використання жетонів та інші показники, пов'язані з витратами, підприємства можуть оптимізувати свої витрати на розвиток ШІ. Це особливо важливо при використанні економічно ефективних моделей, таких як DeepSeek, які пропонують розширені можливості міркування за меншими витратами [1] [5].
3. Впевненість у перемиканні моделі: Особливості порівняння моделі New Relic дозволяють підприємствам оцінювати вплив перемикання між моделями AI на продуктивність та витрати. Це допомагає приймати обґрунтовані рішення щодо того, які моделі для розгортання та коли можна перемикатися, гарантуючи, що обрані моделі узгоджуються з потребами бізнесу та бюджетними обмеженнями [4] [5].
4. Прискорені інновації: поєднання моніторингу AI New Relic та відкритих моделей DeepSeek прискорює інновації та розгортання AI. Це дає можливість бізнесу більш ефективно приймати та оптимізувати технології AI, сприяючи більш швидкому інновації та підтримуванню конкурентної переваги на ринку [1] [7].
Загалом, моніторинг AI New Relic для додатків DeepSeek забезпечує надійне рішення для оптимізації витрат на АІ за допомогою відстеження використання жетонів, серед інших переваг, допомагаючи бізнесу ефективно орієнтуватися на складний ландшафт AI.
Цитати:
[1] https://theexchangeasia.com/new-relic-unveils-first-ever-ai-observability-for-deepseek/
[2] https://www.dqchannels.com/news/new-relic-introduces-observability-solutionfor-deepkeek-ai-monitoring-8689063
[3] https://docs.newrelic.com/docs/ai-monitoring/explore-ai-data/view-ai-responses/
[4] https://newrelic.com/press-release/202502033
[5] https://ecommercenews.com.au/story/new-relic-unveils-ai-monitoring-for-deepeek-applications
[6] https://blog.devops.dev/aws-observability-tools-for-bedrock-large-lance-models-d732363993fd
[7] https://www.computerweekly.com/news/366618774/new-relic-extends-observability-teepseek
4