Monitorování AI společnosti New Relic je navrženo tak, aby poskytovalo komplexní viditelnost v zásobníku AI, která zahrnuje aplikace vytvořené s Deepseekem. Tato schopnost může skutečně pomoci při identifikaci úzkých míst v aplikacích Deepseek nabídnutím několika klíčových funkcí:
1. Úplná viditelnost zásobníku AI: New Relic poskytuje holistický pohled napříč aplikací, infrastrukturou a vrstvou AI. To zahrnuje metriky, jako jsou doby odezvy, použití tokenů a míra chyb, které jsou zásadní pro identifikaci úzkých míst v aplikacích AI, jako jsou ty, které byly postaveny s Deepseekem [1] [4].
2. Deep Trace Insights: Platforma nabízí podrobné možnosti sledování, které vývojářům umožňují sledovat životní cyklus složitých odpovědí AI. Tato funkce je zvláště užitečná pro řešení problémů s výkonem v modelech DeepSeek analýzou toho, jak jsou zpracovávány vstupy a generují výstupy [7].
3. Insights v reálném čase: Monitorování AI New Relic nabízí poznatky v reálném čase napříč zásobníkem AI, překlenovací služby, infrastrukturu a vrstvu AI. Tím je zajištěno efektivní, spolehlivé a nákladově efektivní operace poskytováním komplexních metrik o propustnosti, latence a nákladech [2] [6].
4. Porovnání modelu: Platforma umožňuje srovnání modelu, což vývojářům umožňuje posoudit dopady na výkon při přepínání mezi modely AI. Tato funkce je prospěšná pro optimalizaci aplikací DeepSeek výběrem nejúčinnějších modelů založených na metrikách výkonu a nákladů [5] [9].
5. Vylepšená zabezpečení dat: Monitorování New Relic zahrnuje funkce, jako jsou filtry Drop, které umožňují selektivní vyloučení citlivých datových typů, zajištění dodržování předpisů a ochranu soukromí uživatelů. To je důležité pro udržení důvěry v aplikace AI při řešení problémů s úzkými místy [1].
6. Zajištění a kvalita spolehlivosti: Nová relikvie poskytuje úplnou viditelnost do výkonnosti aplikací AI s hlubokým poháněným AI. Tato zajištění spolehlivosti je rozhodující pro udržení vysoce kvalitních služeb AI a okamžitě se zabývat úzkými mírami [2] [6].
Celkově je monitorování AI společnosti New Relic dobře vybaveno, aby pomohlo identifikovat a řešit úzká místa v aplikacích DeepSeek tím, že nabízí komplexní sadu nástrojů pro optimalizaci výkonu, výběr modelu a monitorování v reálném čase.
Citace:
[1] https://docs.newrelic.com/whats-new/2024/03/whats-new-03-28-imonitoringga/
[2] https://theexchangeasia.com/new-relic-unveils-first-ever-ai-observibility-for-reepseek/
[3] https://newrelic.com/blog/how-to-relic/deploy-deepseek-models-locally and-monitor-with-new-relic-imonitor
[4] https://newrelic.com/blog/how-to-relic/ai-in-observability
[5] https://newrelic.com/press-release/20250203
[6] https://ecommercenews.com.au/story/new-relic-unveils-aimonitor- for-deepseek-Applications
[7] https://newrelic.com/blog/nerdlog/ai-monitoring-ga
[8] https://www.computerweekly.com/news/366618774/new-relic-axtends-orservability-to-eepseek
[9] https://newrelic.com/platform/ai-monitoring