DeepSeek은 몇 가지 혁신적인 기술을 사용하여 AIME 2024 벤치 마크에서 높은 정확도를 달성했습니다.
1. 집중 교육 데이터 생성 : 특히 정확성이 모호하지 않은 수학과 같은 도메인에서 자동으로 검증 될 수있는 DeepSeek 생성 교육 데이터. 이 접근법을 통해 모델 성능 향상에 직접 기여하는 고품질의 관련 데이터를 만드는 데 집중할 수있었습니다 [1].
2. 효율적인 보상 기능 : 그들은 실제로 어떤 새로운 훈련 예제가 모델을 개선 할 것인지 식별하도록 설계된 고효율 보상 기능을 개발했습니다. 이 전략은 중복 데이터에 대한 계산 자원을 낭비하지 않아서 모델이 가장 귀중한 예에서 배운 것을 보장했습니다 [1].
3. 증류 및 모델 최적화 : Deepseek 사용 모델 증류 기술을 사용하여 여전히 인상적인 결과를 얻은 작은 모델을 생성합니다. 예를 들어, 증류 된 7B 모델은 매개 변수가 적음에도 불구하고 QWQ-32B-Prreview와 같은 더 큰 오픈 소스 모델의 정확도를 능가했습니다. 이는 집중된 훈련이 계산 자원이 적은 특정 도메인에서 강력한 성능을 유발할 수있는 방법을 보여줍니다 [1].
4. 테스트 시간 컴퓨팅 및 추론 체인 : DeepSeek R1과 같은 DeepSeek 모델은 모델이 각 문제에 대해 더 많은 시간과 계산 능력을 소비 할 수있는 "테스트 시간 컴퓨팅"이라는 기술을 사용합니다. 이 접근법은 인간과 같은 심의를 모방하여보다 정확하고 사려 깊은 반응을 초래합니다. 이 모델이 더 긴 추론 체인을 생성함에 따라, 더 큰 정확도로 점점 더 복잡한 문제를 해결할 수 있습니다 [6].
5. 투명성 및 다중 에이전트 아키텍처 : DeepSeek 모델, 특히 DeepSeek-R1은 다양한 추론 경로를 통합하는 다중 에이전트 협업 아키텍처를 사용합니다. 이 시너지는 작업 별 편향을 완화하는 데 도움이되고 변동성을 줄임으로써 일관성을 향상시킵니다. 구조화 된 접근법을 통해 모델은 높은 신뢰 솔루션을 동적으로 우선 순위로 삼는 동시에 특정 출력을 덜 정제 할 수 있습니다 [3].
이러한 기술은 AIME 2024 벤치 마크에서 DeepSeek의 인상적인 성능에 총체적으로 기여하여 전략적 교육 방법과 모델 설계가 높은 정확도를 달성하는 데 원시 계산 능력을 능가하는 방법을 보여줍니다.
인용 :
[1] https://www.geekwire.com/2025/deepseeks-new-model-shows-t that-ai-expertise-might-matter-more-com-in-2025/
[2] https://www.reddit.com/r/localllama/comments/1ibxhwp/deepseekr1distillqwen32b_2024_aime_i_performance/
[3] https://arxiv.org/html/2503.10573v1
[4] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-ranks-against-openais-o1
[5] https://aws.amazon.com/bedrock/deepseek
[6] https://smythos.com/ai-agents/agent-achitectures/deepseek-r1/
[7] https://www.amitysolutions.com/blog/deepseek-r1-ai-giant-from-china
[8] https://cloudsecurityalliance.org/blog/2025/01/29/deepseek-rewriting-the-rules-of-ai-development
[9] https://www.inferless.com/learn/the-ultimate-guide-to-deepseek-models