Il processo di selezione degli esperti di DeepSeek-V3 è progettato per garantire una distribuzione equilibrata ed efficiente delle attività tra i suoi esperti, sfruttando l'architettura della miscela di esperti (MOE). Questo processo è cruciale per raggiungere una miscela perfetta di abilità attivando dinamicamente solo gli esperti più rilevanti per ogni token di input.
Architettura di miscela di esperti (MOE)
DeepSeek-V3 impiega un'architettura MOE, che prevede la divisione del modello in più "esperti", ciascuno specializzato in diversi compiti o settori di conoscenza. Il modello ha 1 esperto condiviso e 256 esperti instradati, con 8 esperti instradati selezionati come attivi per ciascun token di input in base alla loro rilevanza [1]. Questo approccio consente al modello di elaborare gli input in modo più efficiente attivando solo una frazione dei suoi parametri totali - 37 miliardi di 671 miliardi per ogni attività [6] [7].
processo di selezione degli esperti
La selezione di esperti in DeepSeek-V3 si basa su un punteggio di affinità, che viene calcolato come prodotto DOT dell'incorporamento del token di input e il centroide di un esperto specifico. Questo punteggio determina quanto bene un esperto corrisponda alle esigenze del token di input [1]. Il modello utilizza una strategia di selezione Top-K, in cui gli esperti di punteggio più alto sono scelti per l'elaborazione. Per evitare il crollo del routing, in cui troppi token vengono inviati ad alcuni esperti, DeepSeek-V3 impiega una strategia di bilanciamento del carico ausiliario senza perdita.
bilanciamento del carico senza perdita ausiliaria
Questa strategia prevede l'aggiunta di un pregiudizio al punteggio di affinità durante il routing. La distorsione viene regolata dinamicamente in base all'uso di ciascun esperto all'interno di un lotto. Se un esperto viene sovraccarico, il suo pregiudizio viene ridotto per scoraggiare ulteriori incarichi, mentre gli esperti sottoutilizzati hanno aumentato il loro pregiudizio per incoraggiare un maggiore utilizzo [1] [3]. Questo approccio garantisce che il carico di lavoro sia distribuito uniformemente tra gli esperti senza la necessità di ulteriori funzioni di perdita, che a volte possono danneggiare le prestazioni del modello [4].
Vantaggi del processo di selezione degli esperti
Il processo di selezione degli esperti in DeepSeek-V3 offre diversi vantaggi:
-Efficienza: attivando solo esperti pertinenti, il modello riduce le spese generali computazionali, rendendolo più conveniente ed efficiente dal punto di vista energetico [6] [9].
- Specializzazione: ogni esperto può specializzarsi in compiti specifici o aree di conoscenza, portando a un elaborazione più sfumata e accurata di diversi input [1] [9].
- Scalabilità: l'architettura MOE consente modelli più grandi senza costi computazionali eccessivi, consentendo lo sviluppo di sistemi AI più complessi e capaci [4] [6].
Nel complesso, il processo di selezione degli esperti di DeepSeek-V3 garantisce una perfetta miscela di competenze allocando dinamicamente le attività a esperti specializzati, ottimizzando l'efficienza e migliorando le prestazioni del modello.
Citazioni:
[1] https://gonzoml.substack.com/p/deepseek-v3-technical-details
[2] https://www.herohunt.ai/blog/deepseeks-oi-model-revolution-global-recruitment
[3] https://www.youtube.com/watch?v=bv7ct-_spqy
[4] https://www.linkedin.com/pulse/what-main-benefit-mixture-experts-models-qi-he-nkgbe
[5] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_it_truly_better_than/
[6] https://alliedinsight.com/blog/deepseeks-technological-innovations-a-deep-dive-into-the-v3-model/
[7] https://huggingface.co/deepseek-ai/deepseek-v3
[8] https://mindflow.io/blog/deepseek-vs-openai-what-is-deepseek-what-does-deepseek-do
[9] https://tldv.io/blog/what-is-deepseek/
[10] https://www.bentoml.com/blog/the-complete-guide-to-deepseek-models-from-v3-to-r1-and-beyond