Deepseek, o pornire AI chineză în creștere rapidă, folosește mai multe strategii pentru a gestiona eficient cererile de jetoane la scară largă, în special prin cel mai recent model său, Deepseek-V3. Acest model utilizează o arhitectură de amestec-of-experts (MOE), care îi permite să activeze selectiv un subset de parametri pentru fiecare simbol procesat. Mai exact, Deepseek-V3 are un total de 671 miliarde de parametri, dar doar 37 de miliarde sunt activate pentru fiecare simbol în timpul inferenței. Acest design îmbunătățește semnificativ eficiența de calcul în comparație cu modelele tradiționale dense, unde toți parametrii sunt angajați pentru fiecare solicitare [1] [4].
Pentru a optimiza în continuare performanța, Deepseek-V3 implementează o strategie eficientă de echilibrare a sarcinilor pe parcursul proceselor sale de instruire și inferență. Această abordare asigură că nu se aruncă jetoane în nici o fază. Modelul menține un echilibru bun de încărcare prin utilizarea unui mecanism de rutare restricționat care limitează costurile de comunicare și permite suprapunerea aproape completă a comunicării de calcul. Drept urmare, Deepseek-V3 poate gestiona volume mari de cereri de jetoane fără a sacrifica performanța sau fiabilitatea [2] [4].
În ceea ce privește pregătirea, Deepseek-V3 este instruit în prealabil pe un set de date extins, cuprinzând 14,8 trilioane de jetoane, urmate de etape de învățare fină supravegheată și de consolidare de învățare pentru a-și perfecționa capacitățile. Procesul de instruire este conceput pentru a fi stabil și eficient, completând în mai puțin de două luni, cu un cost total de aproximativ 5,576 milioane USD în orele GPU [1] [2]. Această utilizare eficientă a resurselor permite Deepseek să se extindă eficient, gestionând în același timp cereri de jetoane la scară largă în serviciile sale.
În general, arhitectura inovatoare a Deepseek și abordările strategice îi permit să gestioneze eficient cererile de jetoane substanțiale, ceea ce îl face un jucător competitiv în peisajul AI.
Citări:
[1] https://thehackernews.com/2025/01/top-e-cadated-chinese-AI-app-deepseek.html
[2] https://arxiv.org/html/2412.19437v1
[3] https://protos.com/chinese-openai-rival-eepseek-lemits-signups-after-large-scale-attack/
[4] https://encord.com/blog/deepseek-AI/
[5] https://www.techtarget.com/whatis/feature/deepseek-explained-everything-you-need-to-know
[6] https://www.reddit.com/r/localllama/comments/1hzkw3f/deepseek_v3_is_the_gift_that_keeps_on_giving/
[7] https://www.cnbc.com/2025/01/27/deepseek-hit-with-large-scale-cyberattack-says-its-lemiting-gistrations.html
[8] https://daily.dev/blog/deepseek-everything-you-need-to-know-about-this-new-llm- in-one-loc