Kaip „Grok 3“ pasirodymas palyginamas su GPT-4o ir Dvyniais

„Grok 3“, palyginti su GPT-4o:
* Enchmarks: GROK 3 pademonstravo aukštesnius rezultatus keliuose etalonuose, palyginti su GPT-4o [1] [4]. Tai apima matematiką (Aime 24), mokslą (GPQA) ir kodavimą (LCB Oct-Feb) [1]. „Grok 3“ surinko 52 matematiką, 75 moksle ir 57 kodavimo metu, pralenkdamas GPT-4o šiose srityse [1] [4].
* Kalbos supratimas: „Grok 3“ pasiekė 94,2% tikslumą kalbos supratimo testų tikslumu, šiek tiek pranokdamas „ChatGpt“ 92,8% [2].
* Kodavimas: „Grok 3“ pranešama 1,2x greičiau nei „ChatGpt“ kodo generavimo greičiu, o vidutinis atsako laikas yra 0,8 sekundės [2].
* Arenos rezultatas: ankstyvoji „Grok 3“ versija, vadinama „šokoladu“, buvo pirmoji AI, viršijanti 1400 balą „LMSys Chatbot“ arenoje, pralenkdamas GPT-4o [4].
* Priežiūros ir realaus laiko duomenys: 3 GROK rodo matematinio samprotavimo stiprumą, kodavimo užduotis, realaus laiko duomenų analizę ir dabartines įvykių diskusijas [2].
* Treniruotės: „Grok 3“ mokomas naudojant realaus laiko duomenis iš X (buvusi „Twitter“), pateikiant jį naujausią informaciją [2]. Jis buvo apmokytas „Xai“ „Colossus“ superklasteryje, kuriame įrengta 100 000 GPU [2].

Grok 3, palyginti su Dvyniais:

* Enchmarks: „GROK 3“ įvairiuose etalonuose aplenkė „Google DeepMind“ „Gemini-2 Pro“ [1].
* „ChatBot“ arena (LMSYS): ankstyvoji „Grok 3“ versija pralenkė pagrindinius modelius, tokius kaip „Gemini-22.0“ „Flash“ mąstymas „Chatbot“ arenoje [1].
* Matematika (Aime 24): Matematikos (Aime 24) etalone, „Grok 3“ pelnė 52, o „Gemini-2 Pro“ surinko 39 [4].
* Mokslas (GPQA): „Science“ (GPQA), „GROK 3“ surinko 75, pralenkdamas „Gemini-2 Pro“, kuris surinko 65 [4].