Si votre système DGX A100 ne répond pas pendant le processus de mise à jour du micrologiciel, suivez ces étapes pour dépanner et potentiellement résoudre le problème:
1. Cycle d'alimentation Le système: Si le système ne répond complètement et ne peut être accessible via SSH ou l'interface BMC, essayez de le cyclister. Cela implique d'arrêter le système via le BMC (contrôleur de gestion des plinthes), si possible, ou de débrancher physiquement toutes les alimentations, puis de les brancher.
2. Vérifiez les journaux BMC: utilisez l'interface BMC pour vérifier les messages ou journaux d'erreur qui pourraient indiquer ce qui n'a pas fonctionné pendant la mise à jour. Cela peut fournir des indices sur le composant a échoué ou s'il y a eu des erreurs spécifiques rencontrées pendant le processus de mise à jour.
3. Vérifiez la connectivité réseau: assurez-vous que le système a une connectivité réseau stable. Parfois, les problèmes de réseau peuvent entraîner l'échec des mises à jour ou suspendu. Vérifiez que le système peut accéder aux référentiels nécessaires ou à la mise à jour des serveurs si la mise à jour était effectuée sur le réseau [2].
4. Répondre à la mise à jour du micrologiciel: Si le système devient réactif après un cycle d'alimentation, essayez de relancer le processus de mise à jour du micrologiciel. Assurez-vous que vous utilisez la dernière version du firmware disponible dans le portail de support de NVIDIA [3]. Si vous utilisez PXE Boot pour les mises à jour, vérifiez que la configuration PXE est correcte et que l'image de mise à jour du firmware est correctement mise en scène sur le Node Headnode [3].
5. Contactez le soutien de Nvidia: Si le problème persiste après avoir tenté les étapes ci-dessus, il peut être nécessaire de contacter le soutien de Nvidia pour une assistance supplémentaire. Ils peuvent fournir des conseils spécifiques en fonction des messages d'erreur que vous avez rencontrés et peuvent avoir des étapes de dépannage ou des correctifs supplémentaires disponibles [3] [7].
6. Vérifiez les problèmes connus: reportez-vous à la documentation de NVIDIA sur les problèmes connus liés aux mises à jour du micrologiciel pour le DGX A100. Certaines mises à jour peuvent avoir des solutions ou des exigences spécifiques qui doivent être suivies pour éviter les pièges courants [5].
7. Inspectez les journaux des événements système: utilisez des outils comme «ipmitool» pour effacer le journal des événements système (SEL) et inspectez-le pour tous les messages d'erreur pertinents. Cela peut aider à identifier les problèmes matériels ou micrologiciels qui pourraient contribuer au problème [4].
8. Intervention manuelle: Dans certains cas, une intervention manuelle peut être nécessaire pour mettre à jour des composants spécifiques. Cela peut impliquer d'utiliser des drapeaux ou des commandes spécifiques pour cibler les composants individuels pour la mise à jour, comme décrit dans la documentation de mise à jour du micrologiciel [1].
En suivant ces étapes, vous devriez être en mesure de diagnostiquer et potentiellement de résoudre les problèmes liés aux mises à jour du micrologiciel sur votre système DGX A100.
Citations:
[1] https://github.com/nvidia/deepops/blob/master/docs/deepops/dgx-diagnostic-firmware.md
[2] https://docs.nvidia.com/dgx/dgxa100-user-guide/updating-restoring-sw.html
[3] https://kb.brightcomputing.com/knowledge-base/how-to-pinggrade-dgx-a100-firmware-from-headnode/
[4] https://forums.developer.nvidia.com/t/dgx-a100-hangs-with-jffs2-errors/296729
[5] https://docs.nvidia.com/dgx/dgxa100-fw-continer-release-notes/dgxa100-fw-known-issues.html
[6] https://github.com/nvidia/nvidia-ntonainer-runtime/issues/85
[7] https://forums.developer.nvidia.com/t/dgx-workstation-a100-firmware update-failed/317627
[8] https://cve.mitre.org/cgi-bin/cvekey.cgi