DeepSeek, швидко зростаючий китайський стартап Китаю, використовує декілька стратегій для ефективного управління масштабними запитами токенів, особливо завдяки останній моделі DeepSeek-V3. Ця модель використовує архітектуру суміші експертів (MOE), яка дозволяє йому вибірково активувати підмножину параметрів для кожного обробленого маркера. Зокрема, DeepSeek-V3 має загалом 671 мільярд параметрів, але лише 37 мільярдів активуються для кожного маркера під час висновку. Ця конструкція значно підвищує ефективність обчислень порівняно з традиційними щільними моделями, де всі параметри займаються для кожного запиту [1] [4].
Для подальшої оптимізації продуктивності DeepSeek-V3 реалізує ефективну стратегію балансування навантаження протягом своїх навчальних та умовних процесів. Цей підхід гарантує, що жоден жетони не впадуть протягом будь -якої фази. Модель підтримує хороший баланс навантаження, використовуючи обмежений механізм маршрутизації, який обмежує витрати на зв'язок і дозволяє майже повне перекриття обчислення-комунікації. Як результат, DeepSeek-V3 може обробляти великі обсяги запитів на токен, не жертвуючи ефективністю або надійністю [2] [4].
З точки зору навчання, DeepSeek-V3 заздалегідь навчається на широкому наборі даних, що включає 14,8 трлн жетонів з подальшими етапами нагляду за тонкою настройкою та підкріпленням, щоб вдосконалити його можливості. Навчальний процес розроблений таким чином, щоб бути стабільним та ефективним, завершуючи менш ніж за два місяці, загальною вартістю приблизно 5,576 млн. Дол. США за години GPU [1] [2]. Це ефективне використання ресурсів дозволяє DeepSeek ефективно масштабувати при керуванні масштабними запитами токенів у своїх послугах.
Загалом, інноваційна архітектура та стратегічні підходи DeepSeek дозволяють їй ефективно обробляти значні запити токенів, що робить його конкурентоспроможним гравцем у ландшафті ШІ.
Цитати:
[1] https://thehackernews.com/2025/01/top-rated-chinese-ai-app-deepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3] https://protos.com/chinese-openai-rival-deepkeek-limits-signups-after-large-scale-attack/
[4] https://encord.com/blog/deepseek-ai/
4
[6] https://www.reddit.com/r/localllama/comments/1hzkw3f/deepseek_v3_is_the_gift_that_keep_on_giving/
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-large-scale-cyberattack-says-its-limiting-registrations.html
4