DeepSeek Codeer V1 un V2 ir gan uzlaboti AI modeļi, kas izstrādāti kodēšanas uzdevumiem, taču tiem ir vairākas būtiskas atšķirības arhitektūrā, spējas un veiktspēja.
Galvenās atšķirības
arhitektūra un dizains **
- DeepSeek Codeer V1 bija pamata modelis, kas galvenokārt koncentrējās uz kodu ģenerēšanu un analīzi. Tas tika uzbūvēts, izmantojot tradicionālo transformatoru arhitektūru, un tam bija ierobežots konteksta garums 16k marķieri.-DeepSeek Codeer V2, kas atbrīvots vēlāk, izmanto uzlabotu Experts (MOE) arhitektūru, kas ļauj tai efektīvāk apstrādāt sarežģītākus uzdevumus. Šis modelis atbalsta daudz garāku konteksta garumu 128 000 žetonu, ievērojami uzlabojot tā spēju apstrādāt lielākus koda fragmentus un sarežģītākus vaicājumus.
apmācības dati un veiktspēja **
- Apmācības dati: Codeer V1 tika apmācīts uz aptuveni 2 triljoniem žetonu ar 87% koda un 13% dabisko valodu. Turpretī Coder V2 tika veikta turpmāka pirms apmācības ar papildu 6 triljoniem žetonu, uzlabojot tā kodēšanas un matemātiskās spriešanas iespējas, kas pārsniedz tā priekšgājēju.-Veiktspējas etaloni: Codeer V2 ir parādījis izcilu veiktspēju dažādos kodēšanas etalonos, salīdzinot gan ar Codeer V1, gan citiem slēgta avota modeļiem, piemēram, GPT4-turbo. Tas jo īpaši izceļas ar uzdevumiem, kas saistīti ar matemātisku spriešanu kodā, demonstrējot sasniegumus gan argumentācijas, gan vispārējās valodas spējas.
programmēšanas valodas atbalsts **
- Codeer V1 atbalstīja ierobežotu programmēšanas valodu klāstu. Tomēr Coder V2 ir dramatiski paplašinājis šo atbalstu no 86 līdz 338 programmēšanas valodām, padarot to daudzpusīgāku izstrādātājiem, kas strādā dažādās kodēšanas vidēs.parametru skaits **
- abiem modeļiem ir vienāds kopējais parametru skaits - 236 miljardi **; Tomēr aktīvie parametri nedaudz atšķiras. Codeer V2 bāzes modelī ir 2,4 miljardi aktīvo parametru un 21 miljards to instrukcijas modelī, kas optimizēts instrukciju sekošanas uzdevumiem.Lietošanas gadījumi **
- Kaut arī DeepSeek Codeer V1 bija piemērots pamata kodēšanas uzdevumiem, Codeer V2 ir īpaši optimizēts plašākam kodēšanas lietojumprogrammu klāstam, ieskaitot, bet ne tikai, koda pabeigšanu, ievietošanu, automatizētu koda pārskatīšanu un veiktspējas optimizācijas ieteikumus.Rezumējot, DeepSeek Codeer V2 ir nozīmīgs jauninājums virs V1 ar savu uzlaboto arhitektūru, paplašinātu programmēšanas valodas atbalstu, uzlabotu apmācības datu izmantošanu un uzlabotu veiktspējas rādītāju dažādos kodēšanas etalonos.
Atsauces:
[1] https://huggingface.co/deepseek-ai/deepseek-coder-v2-base
[2] https://blog.promptlayer.com/deepseek-v2-vs-coder-v2-a-comparative-analysis/
[3] https://play.ht/blog/deepseek-v3-vs-r1-vs-coder/
[4] https://arxiv.org/html/2406.11931v1
[5] https://deepgram.com/learn/best-local-coding-llm
[6.]
[7] https://deepseekcoder.github.io
[8] https://arxiv.org/pdf/2406.11931.pdf
[9] https://github.com/deepseek-ai/deepseek-coder/?tab=readme-ov-file