DeepSeek, rýchlo rastúci čínsky spustenie AI, zamestnáva niekoľko stratégií na efektívne riadenie rozsiahlych žiadostí o tokeny, najmä prostredníctvom svojho najnovšieho modelu Deepseek-V3. Tento model využíva architektúru zmesi expertov (MOE), ktorá jej umožňuje selektívne aktivovať podskupinu parametrov pre každý spracovaný token. Konkrétne, DeepSEEK-V3 má celkom 671 miliárd parametrov, ale iba 37 miliárd je aktivovaných pre každý token počas inferencie. Táto konštrukcia významne zvyšuje výpočtovú účinnosť v porovnaní s tradičnými hustými modelmi, kde sú všetky parametre zapojené pre každú žiadosť [1] [4].
Aby sa ďalej optimalizovala výkon, spoločnosť DeepSEEK-V3 implementuje účinnú stratégiu vyrovnávania záťaže počas svojich procesov tréningu a inferencie. Tento prístup zaisťuje, že počas jednej fázy nie sú žiadne tokeny. Model si udržuje dobrú rovnováhu s zaťažením tým, že využije obmedzený smerovací mechanizmus, ktorý obmedzuje náklady na komunikáciu a umožňuje takmer úplné prekrývanie výpočtového komunikácie. Výsledkom je, že Deepseek-V3 dokáže zvládnuť vysoké objemy žiadostí o token bez obetovania výkonu alebo spoľahlivosti [2] [4].
Pokiaľ ide o školenie, Deepseek-V3 je vopred vyškolený na rozsiahlom súbore údajov, ktorý obsahuje 14,8 biliónov tokenov, po ktorých nasleduje fázy dohľadu nad jemným doladením a posilňovaním, aby sa vylepšili jeho schopnosti. Proces tréningu je navrhnutý tak, aby bol stabilný a efektívny, a dokončil sa za menej ako dva mesiace s celkovými nákladmi približne 5,576 milióna dolárov v hodinách GPU [1] [2]. Toto efektívne využívanie zdrojov umožňuje Deepseek efektívne škálovať pri riadení rozsiahlych žiadostí o tokeny vo svojich službách.
Celkovo, inovatívna architektúra spoločnosti DeepSeek a strategické prístupy jej umožňujú efektívne zvládnuť podstatné tokenové požiadavky, čím sa stáva konkurencieschopným hráčom v krajine AI.
Citácie:
[1] https://theackernews.com/2025/01/top-rated-chinese-ai-appdeepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3] https://protos.com/chinese-openai-ival-deepseek-limits-signus-after-large-scale-attack/
[4] https://encord.com/blog/deepseek-ai/
[5] https://www.techtarget.com/whatis/feature/deepseek-explained-everything-you-eed-to-note
[6] https://www.reddit.com/r/localllama/comments/1hzkw3f/deepseek_v3_is_the_gift_that_keeps_on_giving/
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-large-scale-cybberattack-sent-ays-its-limit-registrations.html
[8] https://daily.dev/blog/deepseek-everything-you-eed-to-know-about-about-this-new-llm-in-one-place