Deepseek wendet mehrere Strategien an, um zu verhindern, dass Token während des Trainings abfällt, insbesondere in der Mischung aus Experten (MOE). Hier sind die wichtigsten Maßnahmen:
1. Token-Dropping-Strategie: Deepseek nutzt einen Token- und Weise, was auf Routing-Wahrscheinlichkeiten basiert, ähnlich wie herkömmliche MOE-Modelle. Dies bedeutet, dass Token nach ihren Punktzahlen fallen gelassen werden, um sicherzustellen, dass nur die am wenigsten wichtigen Token verworfen werden, wenn die Anzahl der Token eine bestimmte Kapazität überschreitet. Die Kapazität wird unterschiedlich berechnet, je nachdem, ob sich der Fokus auf der Experten- oder Geräteabmessung befindet. Dies hilft, die effektiven Verarbeitung von verschiedenen Experten oder Geräten zu verwalten [1].
2. Token-Abfallen auf Geräteebene: Die Strategie arbeitet hauptsächlich auf Geräteebene, bei der alle Expertenbewertungen sortiert werden, und Token mit den niedrigsten Wahrscheinlichkeiten werden gesenkt. Dies stellt sicher, dass jedes Gerät seine Last verwalten kann, ohne einen einzelnen Experten zu überwältigen und gleichzeitig die Gesamtleistungseffizienz beizubehalten [1].
3.. Garantierte Token -Retention: Deepseek hat eine spezifische Strategie implementiert, um sicherzustellen, dass ungefähr 10% der Token aus Trainingssequenzen niemals fallen gelassen werden. Dies ist entscheidend für die Aufrechterhaltung der Integrität der Schulungsdaten und der Sicherstellung, dass wichtige Informationen während des gesamten Trainingsprozesses erhalten bleiben [2] [6].
4. Lastausgleich: In seiner neuesten Version Deepseek-V3 wird eine effektive Strategie für die Lastausgleich angewendet, die den Bedarf an Token, die während des Trainings insgesamt fallen, beseitigt. Durch die dynamische Anpassung von Expertenlasten und die Verwendung eines multi-um-Vorhersage-Objektives behält Deepseek-V3 eine ausgewogene Verteilung der Token über Experten auf, wodurch ein Datenverlust während des Trainings verhindert wird [2].
Diese Maßnahmen spiegeln Deepseeks Engagement für die Optimierung ihrer Schulungsprozesse wider, minimieren den Datenverlust und die Maximierung der Recheneffizienz.
Zitate:
[1] https://github.com/deepseek-ai/deepseek-v2/issues/5
[2] https://arxiv.org/html/2412.19437v1
[3] https://www.tradingview.com/news/financemagnates:c7148cfce094b:0-why-is-crypto-ing-down-fake-peepseek-tokens-apect-thousts-oders/
[4] https://planetbanatt.net/articles/deepseek.html
[5] https://www.financemagnates.com/cryptocurrency/why-is-crypto-ing-down-fake-peepseek-tokens-apect-tausende-oklers/
[6] https://arxiv.org/html/2405.04434v5
[7] https://www.binance.com/square/post/19557042115937
[8] https://community.openai.com/t/will-yepseek-r1-force-openai-toce-teke-prices/1097716