Le paramètre de température dans Deepseek R1 est principalement utilisé pour contrôler l'aléatoire de la sortie du modèle. Il influence la façon dont le modèle sélectionne les mots ou les jetons pendant la génération, avec des températures plus élevées conduisant à des sorties plus diverses mais potentiellement moins cohérentes, et des températures plus faibles entraînant des sorties plus prévisibles et cohérentes. Pour Deepseek R1, une plage de température de 0,5 à 0,7 est recommandée, 0,6 étant idéal, pour éviter les sorties répétitives ou incohérentes [1] [3] [8].
Le mécanisme de déclenchement dans l'architecture du mélange d'experts (MOE) de Deepseek R1 est un composant distinct qui sélectionne dynamiquement les experts (ou sous-ensembles de paramètres) à activer en fonction de l'entrée. Ce mécanisme garantit que seule une fraction des paramètres totaux est utilisée pendant l'inférence, améliorant l'efficacité et l'adaptabilité. Plus précisément, Deepseek R1 active environ 37 milliards de paramètres sur son total de 671 milliards de paramètres [4] [9].
Bien que le paramètre de température et le mécanisme de déclenchement servent des objectifs distincts, ils contribuent tous deux aux performances et à l'efficacité globales du modèle. Le paramètre de température affecte le processus de génération de sortie en contrôlant le niveau d'aléatoire, tandis que le mécanisme de déclenchement optimise l'utilisation des ressources en activant sélectivement les experts pertinents. Cependant, il n'y a pas d'interaction directe entre ces deux mécanismes; Ils opèrent indépendamment dans l'architecture du modèle.
En pratique, l'ajustement de la température peut influencer la façon dont le modèle génère du texte, mais il n'affecte pas directement les experts activés par le mécanisme de déclenchement. Le mécanisme de déclenchement concerne principalement la sélection du sous-ensemble de paramètres approprié en fonction de l'entrée, quel que soit le réglage de la température. Cette séparation permet un contrôle flexible à la fois sur la cohérence de sortie du modèle et son efficacité de calcul.
Citations:
[1] https://build.nvidia.com/deepseek-ai/deepseek-r1/modelcard
[2] https://www.vellum.ai/blog/the-training-of-epseek-r1-and-ways-to-use-it
[3] https://www.reddit.com/r/localllama/comments/1i81ev6/deepseek_added_recommandations_for_r1_local_use/
[4] https://writesonic.com/blog/what-is-deepseek-r1
[5] https://www.reddit.com/r/localllama/comments/1ip73bq/deepseek_drops_recommend_r1_deployment_settings/
[6] https://arxiv.org/html/2412.19437v1
[7] https://api-docs.deepseek.com/quick_start/parameter_settings
[8] https://docs.together.ai/docs/deepseek-r1
[9] https://merlio.app/blog/deepseek-r1-complete-guide