Grok 3 ir parādījis spēcīgu sniegumu kodēšanas etalonos, pārspējot Openai GPT-4O [4] [7]. Kodēšanas novērtējumos, piemēram, LCB OCT-FEB, Grok 3 ieguva 57, bet Grok 3 Mini ieguva 41 punktu, abi pārspējot Dvīņus, DeepSeek, Claude un GPT modeļus [1]. Neatkarīgi testi norāda arī uz 15% uzlabojumu sarežģītu programmēšanas problēmu risināšanā [2].
GROK 3 izceļas arī ar ātrumu, darbojoties 1,2 reizes ātrāk nekā Chatgpt, ar vidējo reakcijas laiku 0,8 sekundes [2]. Programmatūras izstrādātāji ir ziņojuši par 30% ātrāku atkļūdošanas sesiju, izmantojot Grok 3 koda analīzes funkcijas, un tā spēja izskaidrot sarežģītus algoritmus ir uzlabojusi zināšanu apmaiņu tehnoloģiju kopienās [2].
Atsauces:[1.]
[2] https://9meters.com/technology/ai/grok-3-vs-chatgpt-a-head-to-comparison
[3] https://paperswithcode.com/paper/gpt-4-technical-report-1
.
[5] https://news.ycombinator.com/item?id=38184426
[6] https://www.zdnet.com/article/xais-grok-3-is-better-than-expected-how-to-try-t
[7] https://www.chaincatcher.com/en/article/2168125
[8] https://community.openai.com/t/gpt4-comparison-to-anthropic-opus-on-benchmarks/726147
[9] https://www.reddit.com/r/openai/comments/1bqdo47/grok_15_now_beats_gpt4_2023_in_humaneval_code/
[10] https://www.datacamp.com/blog/grok-3
[11] https://aider.chat/docs/benchmarks-0125.html