Monitorovanie AI spoločnosti New Relic je navrhnuté tak, aby poskytovali komplexnú viditeľnosť v komore AI, ktorý obsahuje aplikácie postavené s DeepSeek. Táto schopnosť môže skutočne pomôcť pri identifikácii prekážok v aplikáciách DeepSeek tým, že ponúka niekoľko kľúčových funkcií:
1. Plná viditeľnosť zásobníka AI: Nová pamiatka poskytuje holistický pohľad v celej aplikácii, infraštruktúre a vrstve AI. Zahŕňa to metriky, ako sú časy odozvy, využitie tokenov a miera chybovosti, ktoré sú rozhodujúce pre identifikáciu prekážok výkonu v aplikáciách AI, ako sú tie, ktoré boli vyrobené s Deepseekom [1] [4].
2. Deep Trace Insights: Platforma ponúka podrobné možnosti sledovania, ktoré vývojárom umožňujú sledovať životný cyklus komplexných odpovedí AI. Táto funkcia je obzvlášť užitočná na riešenie problémov s výkonom v modeloch DeepSeek analýzou toho, ako sa spracúvajú vstupy a generujú sa výstupy [7].
3. Insights v reálnom čase: Monitorovanie AI spoločnosti New Relic ponúka poznatky v reálnom čase v zásobníku AI, prekrytia služieb, infraštruktúry a vrstvy AI. To zaisťuje efektívne, spoľahlivé a nákladovo efektívne operácie poskytovaním komplexných metrík pre priepustnosť, latenciu a náklady [2] [6].
4. Porovnanie modelu: Platforma umožňuje porovnávanie modelu, čo vývojárom umožňuje posúdiť vplyvy výkonu pri prepínaní medzi modelmi AI. Táto funkcia je prospešná pre optimalizáciu aplikácií DeepSeek výberom najefektívnejších modelov založených na metrikách výkonnosti a nákladoch [5] [9].
5. Vylepšená bezpečnosť údajov: Monitorovanie spoločnosti New Relic obsahuje funkcie, ako sú filtre DROP, ktoré umožňujú selektívne vylúčenie citlivých typov údajov, zabezpečenie dodržiavania predpisov a ochrana súkromia používateľa. Je to dôležité pre udržanie dôvery v aplikácie AI pri riešení problémov s problémami [1].
6. Zabezpečenie a kvalita spoľahlivosti: Poskytnutím úplného viditeľnosti v oblasti výkonu aplikácií AI v Deepseek, Nový Relic pomáha podnikom rýchlo identifikovať a riešiť problémy. Táto zabezpečenie spoľahlivosti je rozhodujúce pre rýchle udržiavanie vysokokvalitných služieb AI a rýchle riešenie prekážok [2] [6].
Celkovo je monitorovanie AI spoločnosti Relic's AI dobre vybavené, aby pomohlo identifikovať a riešiť prekážky v aplikáciách DeepSeek tým, že ponúka komplexnú sadu nástrojov na optimalizáciu výkonu, výber modelu a monitorovanie v reálnom čase.
Citácie:
[1] https://docs.newrelic.com/whats-new/2024/03/whats-new-03-28-Aimonitoringga/
[2] https://thexchangeasia.com/new-relic-unveils-first-ver-ai-ai-obserbility-for-deepseek/
[3] https://newrelic.com/blog/how-to-relic/deploy-deepseek-models-locally-andonitor-with-new-new-relic-ai-monitoring
[4] https://newrelic.com/blog/how-to-relic/ai-in-observibility
[5] https://newrelic.com/press-rease/20250203
[6] https://ecommercenews.com.au/story/new-relic-unveils-ai-Monitoring-for-deepseek-applications
[7] https://newrelic.com/blog/nerdlog/aionitoring--ga
[8] https://www.computerweekly.com/news/366618774/new-relic-extends-oSSerabilibility-to-deepseek
[9] https://newrelic.com/platform/aionitoring