Il monitoraggio AI di New Relic è progettato per fornire visibilità completa attraverso lo stack AI, che include applicazioni costruite con DeepSeek. Questa capacità può effettivamente aiutare a identificare i colli di bottiglia nelle applicazioni DeepSeek offrendo diverse funzionalità chiave:
1. Visibilità completa dello stack AI: New Relic fornisce una vista olistica attraverso l'applicazione, l'infrastruttura e il livello AI. Ciò include metriche come tempi di risposta, utilizzo dei token e tassi di errore, che sono cruciali per identificare i colli di bottiglia delle prestazioni in applicazioni AI come quelle costruite con DeepSeek [1] [4].
2. Deep Trace Insights: la piattaforma offre capacità di tracciamento dettagliate che consentono agli sviluppatori di tenere traccia del ciclo di vita delle complesse risposte di intelligenza artificiale. Questa funzionalità è particolarmente utile per la risoluzione dei problemi di prestazioni nei modelli DeepSeek analizzando il modo in cui vengono elaborati gli input e gli output vengono generati [7].
3. Intuizioni in tempo reale: il monitoraggio AI di New Relic offre approfondimenti in tempo reale attraverso lo stack di AI, che spinge servizi, infrastrutture e strato di intelligenza artificiale. Ciò garantisce operazioni efficienti, affidabili ed economiche fornendo metriche complete su throughput, latenza e costi [2] [6].
4. Confronto del modello: la piattaforma consente il confronto dei modelli, consentendo agli sviluppatori di valutare gli impatti delle prestazioni quando si passa tra i modelli di intelligenza artificiale. Questa funzione è vantaggiosa per l'ottimizzazione delle applicazioni DeepSeek selezionando i modelli più efficienti in base alle metriche di prestazioni e costi [5] [9].
5. Sicurezza dei dati avanzati: il monitoraggio di New Relic include funzionalità come i filtri di caduta che consentono l'esclusione selettiva di tipi di dati sensibili, garantendo la conformità e la protezione della privacy degli utenti. Ciò è importante per mantenere la fiducia nelle applicazioni di intelligenza artificiale durante la risoluzione dei colli di bottiglia [1].
6. Affidabilità Assicurazione e qualità: fornendo la piena visibilità sulle prestazioni delle applicazioni AI a base di pulizia, New Relic aiuta le aziende a identificare e risolvere rapidamente i problemi. Questa garanzia di affidabilità è fondamentale per il mantenimento di servizi di intelligenza artificiale di alta qualità e per affrontare prontamente i colli di bottiglia [2] [6].
Nel complesso, il monitoraggio dell'IA di New Relic è ben attrezzato per aiutare a identificare e affrontare i colli di bottiglia nelle applicazioni DeepSeek offrendo una serie completa di strumenti per l'ottimizzazione delle prestazioni, la selezione dei modelli e il monitoraggio in tempo reale.
Citazioni:
[1] https://docs.newrelic.com/whats-new/2024/03/whats-new-03-28-aimonitoringga/
5
[3] https://newrelic.com/blog/how-to-relic/deploy-deepseek-models--monitor-with-new-relic-ai-monitoring
[4] https://newrelic.com/blog/how-to-relic/ai-in-observability
[5] https://newrelic.com/press-release/20250203
[6] https://embimercenews.com.au/story/new-relic-unveils-ai-monitoring-for-deepseek-applications
[7] https://newrelic.com/blog/nerdlog/ai-monitoring-ga
[8] https://www.computerweekly.com/news/366618774/new-relic-extends-observability-to-deepseek
[9] https://newrelic.com/platform/ai-monitoring