Deepseek Coder V1 in V2 sta napredni modeli AI, namenjeni kodiranju nalog, vendar kažeta več pomembnih razlik v arhitekturi, zmogljivosti in zmogljivosti.
Ključne razlike
Arhitektura in oblikovanje **
- Deepseek Coder V1 je bil temeljni model, ki se je osredotočil predvsem na ustvarjanje in analizo kode. Zgrajena je bila s tradicionalno arhitekturo transformatorjev in je imela omejeno dolžino konteksta 16k žetonov.-Deepseek Coder V2, ki je bil objavljen pozneje, uporablja izboljšano arhitekturo mešanice eksperit (MOE), ki mu omogoča učinkovitejše obdelavo bolj zapletenih nalog. Ta model podpira veliko daljšo dolžino 128 tisoč žetonov, kar bistveno izboljša njegovo sposobnost obvladovanja večjih odrezkov kode in bolj zapletenih poizvedb.
Podatki o usposabljanju in uspešnost **
- Podatki o usposabljanju: Coder V1 je bil usposobljen za približno 2 trilijona žetonov, z mešanico 87% kode in 13% naravnega jezika. V nasprotju s tem je Coder V2 doživel nadaljnje predhodno usposabljanje z dodatnimi 6 bilijonskimi žetoni, kar je izboljšalo svoje zmogljivosti za kodiranje in matematično sklepanje, ki presegajo predhodnike.-Merila uspešnosti: Coder V2 je pokazala vrhunsko zmogljivost pri različnih merilih kodiranja v primerjavi z Coder V1 in drugimi modeli zaprtega vira, kot je GPT4-Turbo. Zlasti se odlikuje pri nalogah, ki vključujejo matematično sklepanje znotraj kode, pri čemer prikazuje napredek tako v razmišljanju kot v splošnih jezikovnih zmožnostih.
Podpora programskega jezika **
- Coder V1 je podpiral omejen obseg programskih jezikov. Vendar je Coder V2 to podporo močno razširil z 86 na 338 programskih jezikov, zaradi česar je veliko bolj vsestranski za razvijalce, ki delujejo v različnih okoljih kodiranja.Število parametrov **
- oba modela imata enako skupno število parametrov 236 milijard **; Vendar se aktivni parametri nekoliko razlikujejo. Coder V2 ima 2,4 milijarde aktivnih parametrov v svojem osnovnem modelu in 21 milijard v svojem modelu z navodili, optimizirano za naloge, ki sledijo navodilom.Primeri uporabe **
- Medtem ko je bil Deepseek Coder V1 primeren za osnovne naloge kodiranja, je Coder V2 posebej optimiziran za širšo paleto kodirnih aplikacij, vključno z dokončanjem kode, vstavljanje, samodejnega pregleda kode in predlogom za optimizacijo uspešnosti.Če povzamemo, Deepseek Coder V2 predstavlja pomembno nadgradnjo nad V1 s svojo napredno arhitekturo, razširjeno podporo programskega jezika, izboljšano uporabo podatkov o usposabljanju in izboljšanimi meritvami uspešnosti v različnih merilih kodiranja.
Navedbe:
[1] https://huggingface.co/deepseek-ai/deepseek-coder-v2-base
[2] https://blog.promplayer.com/deepseek-v2-vs-coder-v2-a-Comparative-analysis/
[3] https://play.ht/blog/deepseek-v3-vs-r1-vs-coder/
[4] https://arxiv.org/html/2406.11931V1
[5] https://deepgram.com/learn/best-local-coding-llm
[6] https://www.reddit.com/r/localllama/comments/1dhx449/deepseekcoderv2_breaking_the_barrier_of/
[7] https://deepseekcoder.github.io
[8] https://arxiv.org/pdf/2406.11931.pdf
[9] https://github.com/deepseek-ai/deepseek-coder/?tab=readme-ov-file