Deepseekova uspešnost na Humanoval Benchmarku kaže na pomembno prednost pred GPT-4. Zlasti, Deepseek je dosegel 73,78-odstotno hitrost prehoda na HumaneVal, ki ocenjuje kodirne zmogljivosti, medtem ko je GPT-4 v podobnih ocenah dosegel približno 67% [1] [2]. To kaže, da je Deepseek učinkovitejši pri ustvarjanju in reševanju težav s kodiranjem v primerjavi z GPT-4.
Glede na učinkovitost Deepseek uporablja arhitekturo mešanice ekspertov (MOE), ki aktivira le 37 milijard od svojih skupnih 671 milijard parametrov za naloge, kar mu omogoča, da ohrani visoke zmogljivosti z bistveno nižjimi računskimi stroški-214,3-krat cenejši od GPT-ja kot GPT -4 za obdelavo žetona [1] [2]. Ta učinkovitost pomeni hitrejše in natančnejše zmogljivosti za ustvarjanje kode in odpravljanje napak, zaradi česar je Deepseek prepričljiva izbira za razvijalce.
Poleg tega je kontekstno okno Deepseeka bistveno večje pri 128K žetonih v primerjavi z največ 8k žetonov GPT-4, kar mu omogoča, da med obdelavo obvlada obsežnejše vložke [1] [2]. Ta funkcija je lahko še posebej ugodna za zapletene naloge kodiranja, ki zahtevajo večji kontekst.
Na splošno Deepseek ne presega le GPT-4 v smislu kodiranja uspešnosti na Humanevalu, ampak ponuja tudi znatne koristi in učinkovitosti, ki se postavlja kot močna alternativa v pokrajini velikih jezikovnih modelov.
Navedbe:[1] https://daily.dev/blog/deepseek-everything-you-need-do-vezna-about-this-new-llm-in-one-flace
[2] https://docsbot.ai/models/compare/gpt-4/deepseek-v3
[3] https://www.reddit.com/r/chatgptcoding/comments/1fdrhbx/new_deepseekv25_model_scores_89_on_humaneval/
[4] https://aclanthology.org/2024.findings-acl.471.pdf
[5] https://deepseekcoder.github.io
[6] https://news.ycombinator.com/item?id=41999151
[7] https://www.deepseek.com
[8] https://www.reddit.com/r/localllama/comments/1hr56e3/notes_on_deepseek_v3_is_it_truly_better_than/