Deepseek R1, tandis qu'un modèle avancé en capacités de raisonnement, présente plusieurs limitations dans ses capacités multitâches. Voici les principales contraintes identifiées:
Limitations de capacité générale
Les performances de Deepseek R1 dans le multitâche ne sont pas aussi robustes que son prédécesseur, Deepseek V3, en particulier dans des tâches complexes comme l'appel de fonction, les interactions multi-tours et la sortie JSON. Cela indique que bien qu'il puisse gérer diverses tâches, son efficacité diminue dans des scénarios plus complexes nécessitant un raisonnement soutenu sur plusieurs étapes ou contextes [1].Problèmes de mélange de langue
Le modèle est principalement optimisé pour l'anglais et le chinois, ce qui peut conduire à un mélange de langue lors du traitement des requêtes dans d'autres langues. Il en résulte des résultats qui peuvent ne pas s'aligner sur les attentes de l'utilisateur ou le langage prévu de la requête, compliquant ainsi sa convivialité pour un public plus large [1] [4].Sensibilité à l'incitation
Deepseek R1 montre une sensibilité élevée à la structure des invites. Il fonctionne mal avec des techniques d'incitation à quelques coups, qui dégradent souvent sa qualité de sortie. Au lieu de cela, il est recommandé d'utiliser une incitation zéro avec des instructions claires et concises pour des performances optimales. Cette sensibilité peut entraver son adaptabilité sur différentes tâches et entrées utilisateur [2] [8].Préoccupations d'efficacité
Le modèle fait face à des défis liés à l'efficacité pendant les processus d'apprentissage par renforcement (RL), en particulier dans les tâches d'ingénierie logicielle. En raison des longs délais d'évaluation associés à la formation RL, Deepseek R1 n'a pas surperformé de manière significative les modèles précédents dans ce domaine. Les améliorations futures devraient résoudre ces problèmes d'efficacité grâce à des méthodes telles que l'échantillonnage de rejet et les évaluations asynchrones [1] [7].Qualité de sortie et profondeur de raisonnement
Bien que Deepseek R1 utilise une chaîne d'approche de pensée qui permet un raisonnement réfléchissant, cela peut parfois conduire à des sorties verbeuses et encombrées. Le modèle peut avoir du mal à maintenir la cohérence lors de la résolution de problèmes complexes, entraînant des sorties qui se sentent irrégulières ou non focalisées. Cette caractéristique peut nuire à la clarté et à l'utilité de ses réponses [2] [3].En résumé, alors que Deepseek R1 représente une progression importante des capacités de raisonnement pour les modèles de langage de grands, ses capacités multitâches sont limitées par les problèmes liés à la complexité, le traitement du langage, la sensibilité rapide, l'efficacité dans des domaines spécifiques et la cohérence des résultats.
Citations:[1] https://arxiv.org/html/2501.12948v1
[2] https://www.qodo.ai/blog/qodo-gen-adds-self-hosted-support-for-deepseek-r1/
[3] https://www.reddit.com/r/localllama/comments/1i7fjqm/deepseek_r1_is_unusable_imho/
[4] https://www.hindustantimes.com/world-news/us-news/deepseek-ai-chinas-deepseek-r1-low-data-digital-assistant-impact-wall-street-technology-market-global -101737978272938.html
[5] https://github.com/deepseek-ai/deepseek-r1/issues/26
[6] https://www.linkedin.com/pulse/deepseek-revolutioning-ai-open-source-easoning-20-ramachandran-xakme
[7] https://adasci.org/mastering-llms-asoning-capability-with-deepseek-r1/
[8] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-oo1
[9] https://www.vellum.ai/blog/the-training-of-epseek-r1-and-ways-to-use-it