DeepSeek R1의 온도 매개 변수는 주로 모델 출력의 임의성을 제어하는 데 사용됩니다. 모델이 세대 동안 단어 나 토큰을 선택하는 방식에 영향을 미치며, 온도가 높을수록 더 다양하지만 잠재적으로 일관된 출력이 덜 발생하고 더 낮은 온도로 인해 예측 가능하고 일관된 출력이 발생합니다. DeepSeek R1의 경우 반복적이거나 일관성이없는 출력을 방지하기 위해 0.5 ~ 0.7의 온도 범위가 0.5 ~ 0.7이 권장됩니다 [1] [3] [8].
DeepSeek R1의 전문가 (MOE) 아키텍처의 게이팅 메커니즘은 입력에 따라 활성화 할 전문가 (또는 매개 변수의 하위 집합)를 동적으로 선택하는 별도의 구성 요소입니다. 이 메커니즘은 추론 중에 총 매개 변수의 일부만 사용되어 효율성과 적응성을 향상시킵니다. 구체적으로, DeepSeek R1은 총 6,710 억 개의 매개 변수 중 약 370 억 파라미터를 활성화합니다 [4] [9].
온도 매개 변수와 게이팅 메커니즘은 뚜렷한 목적을 달성하지만 모델의 전반적인 성능과 효율성에 기여합니다. 온도 매개 변수는 임의성 수준을 제어하여 출력 생성 프로세스에 영향을 미치는 반면, 게이팅 메커니즘은 관련 전문가를 선택적으로 활성화하여 리소스 사용량을 최적화합니다. 그러나이 두 메커니즘 사이에는 직접적인 상호 작용이 없다. 그들은 모델의 아키텍처 내에서 독립적으로 작동합니다.
실제로 온도를 조정하면 모델이 텍스트를 생성하는 방식에 영향을 줄 수 있지만 게이팅 메커니즘에 의해 활성화되는 전문가가 직접적으로 영향을 미치지는 않습니다. 게이팅 메커니즘은 주로 온도 설정에 관계없이 입력에 기초하여 적절한 매개 변수의 하위 집합을 선택하는 것과 관련이 있습니다. 이 분리를 통해 모델의 출력 일관성과 계산 효율을 모두 유연하게 제어 할 수 있습니다.
인용 :
[1] https://build.nvidia.com/deepseek-ai/deepseek-r1/modelcard
[2] https://www.vellum.ai/blog/the-training-of-deepseek-r1-and-ways-to-use-it
[3] https://www.reddit.com/r/localllama/comments/1i81ev6/deepseek_added_recommandations_for_r1_local_use/
[4] https://writesonic.com/blog/what-is-deepseek-r1
[5] https://www.reddit.com/r/localllama/comments/1ip73bq/deepseek_drops_recommed_r1_deployment_settings/
[6] https://arxiv.org/html/2412.19437v1
[7] https://api-docs.deepseek.com/quick_start/parameter_settings
[8] https://docs.together.ai/docs/deepseek-r1
[9] https://merlio.app/blog/deepseek-r1-complete-guide