DeepSeek využíva niekoľko stratégií na zabránenie poklesu tokenov počas tréningu, najmä v architektúre zmesi expertov (MOE). Tu sú kľúčové opatrenia:
1. Stratégia droping token: DeepSeek využíva prístup k odhodeniu tokenu založený na pravdepodobnostiach smerovania, podobne ako konvenčné modely MOE. To znamená, že tokeny sú zrušené podľa ich skóre, zabezpečujúc, aby boli vyradené iba najmenej dôležité tokeny, keď počet tokenov presiahne určitú kapacitu. Kapacita sa vypočíta odlišne v závislosti od toho, či sa zameriava na rozmer expertov alebo zariadení, čo pomáha riadiť spôsob, akým tokeny sú efektívne spracované rôznymi odborníkmi alebo zariadeniami [1].
2. Token token na úrovni zariadenia: Stratégia pracuje predovšetkým na úrovni zariadenia, kde sú všetky expertné skóre triedené, a tokeny s najnižšou pravdepodobnosťou sa zrušujú. To zaisťuje, že každé zariadenie dokáže spravovať svoje zaťaženie bez toho, aby prekonalo akéhokoľvek jediného odborníka a zároveň si zachovalo celkovú účinnosť výkonnosti [1].
3. Zaručené uchovávanie tokenov: Deepseek implementoval špecifickú stratégiu, aby sa zabezpečilo, že približne 10% tokenov z tréningových sekvencií nikdy nebude vypadnuté. Je to rozhodujúce pre udržanie integrity údajov o školeniach a zabezpečenie toho, aby sa dôležité informácie uchovávali počas celého procesu školenia [2] [6].
4. Vyváženie záťaže: Vo svojej najnovšej verzii Deepseek-V3 sa používa efektívna stratégia vyváženia záťaže, ktorá eliminuje potrebu tokenu úplne klesať počas tréningu. Dynamickým úpravou odborných zaťažení a využívaním predikčného cieľa viacerých tokov si Deepseek-V3 udržuje vyváženú distribúciu tokenov medzi odborníkmi, čím sa zabráni strate údajov počas tréningu [2].
Tieto opatrenia odrážajú záväzok spoločnosti DeepSeek optimalizovať jeho školiace procesy a zároveň minimalizovať stratu údajov a maximalizovať výpočtovú efektívnosť.
Citácie:
[1] https://github.com/deepseek-ai/deepseek-v2/issues/5
[2] https://arxiv.org/html/2412.19437v1
Https://www.tradingview.com/news/financemagnates:c7148cfce094b:0-hhy-is-crypto-ging-ding-down-fake-deepseek-tokens-affect tisíces-oftounds-pakt Thishtouss-oftounds
[4] https://planetbanatt.net/articles/deepseek.html
[5] https://www.financemagnates.com/cryptocurrency/why-is-crypto-down-down-fake-deepseek-tokens-affect-ffect Thishtous-off-oft-thounds-oft-this--traders/
[6] https://arxiv.org/html/2405.04434V5
[7] https://www.binance.com/square/post/19557042115937
[8] https://community.openai.com/t/will-deepseek-r1-force-openai-to-reduce-token-prices/1097716