DeepSeek-R1-Zero, демонстрируя значительные достижения в области рассуждений посредством обучения подкреплению, имеет несколько заметных ограничений:
** Проблемы смешивания языка и когерентности: одной из основных проблем является тенденция модели производить результаты, которые смешивают языки, особенно английский и китайский. Это приводит к ответам, которые могут быть бессвязными или трудно понять, особенно когда входной запрос находится на одном языке [1] [4].
** Плохая читаемость: читаемость выходов модели часто скомпрометирована. Пользователи сообщили о проблемах с форматированием и ясностью, что затрудняет следование процессу рассуждения или окончательные ответы, предоставленные моделью [3] [5].
** Отсутствие контролируемой точной настройки: DeepSeek-R1-Zero был разработан без какого-либо первоначальной контролируемой тонкой настройки, которая ограничивает его способность генерировать полностью полированные и выравниваемые человеком результаты. Это отсутствие уточнения может привести к менее надежным ответам по сравнению с моделями, которые включают контролируемые методы обучения [1] [3].
** Бесконечное повторение: модель иногда демонстрирует повторяющееся поведение в своих ответах, что может отвлечь от общего пользовательского опыта и эффективности общения [5] [7].
** Изменчивость производительности в задачах кодирования: хотя DeepSeek-R1-Zero показывает сильную производительность в задачах рассуждений, она плохо выполняет проблемы кодирования, что указывает на то, что его возможности могут быть не такими надежными для всех типов задач [1] [2].
Эти ограничения вызвали дальнейшие усилия по разработке, что привело к созданию DeepSeek-R1, которое направлено на устранение этих недостатков путем включения методов контролируемых контролей и повышения общей производительности.
Цитаты:[1] https://www.prompthub.us/blog/deepseek-r-1-model-overview-and-how-it-ranks-against-openais-o1
[2] https://arxiv.org/html/2501.12948v1
[3] https://www.gocodeo.com/post/deepseek-r1-and-deepseek-r1-zero
[4] https://myedgetech.com/deepseek-r1-tr/
[5] https://huggingface.co/deepseek-ai/deepseek-r1-zero
[6] https://adasci.org/mastering-llms-reaseing-capability-deepseek-r1/
[7] https://www.datacamp.com/blog/deepseek-r1
[8] https://arxiv.org/pdf/2501.12948.pdf