Na kakšnih specifičnih merilih so bili testirani GROK 3 in GPT-4O

- Matematika: Grok 3 je dosegel oceno 93,3% na ameriškem izpitu o matematiki ameriške invitativne matematike (AIME), medtem ko uspešnost GPT-4O na tem področju ni izrecno poudarjena v razpoložljivih podatkih. Vendar je bila uspešnost Groka 3 v AIME 2024 opažena kot bistveno višja od splošne uspešnosti GPT-4O pri nalogah, povezanih z matematiko [1] [3] [5].

-Znanost in sklepanje: Grok 3 je dosegel 84,6% na testu GPQA (strokovno sklepanje na ravni diplomirane stopnje), s čimer je pokazal svojo moč v znanju na podiplomskem nivoju. Učinkovitost GPT-4O pri podobnih nalogah sklepanja je na splošno nižja v primerjavi z GROK 3 [1] [3] [6].

- Kodiranje: Grok 3 je na LiveCodeBenchu ​​dosegel 79,4%, pri čemer je pri nalogah za generiranje kode presegel GPT-4O. Specifična ocena GPT-4O na LiveCodeBenchu ​​ni podrobna, vendar Grok 3 na splošno odlikuje kodiranje referenčnih vrednosti [1] [3] [5].

- Splošno znanje: Grok 3 je na MMLU-Pro dosegel 79,9%, ki preizkuša široko znanje pri več temah. GPT-4O je dosegel 72,6% na isti referenčni vrednosti, kar kaže na močnejšo uspešnost Groka 3 pri splošnih nalogah znanja [3].

- Multimodalno razumevanje: Grok 3 je pokazal zmogljivosti pri multimodalnih nalogah, kot je MMMU (Multimodal Multiotitask Model Razumevanje), čeprav so posebne primerjave z GPT-4O na tem območju omejene [1] [3].

Na splošno GROK 3 ponavadi presega GPT-4O pri specializiranih nalogah, kot so matematika, znanost in kodiranje, medtem ko je GPT-4O lahko bolj vsestranski v splošnih namenskih aplikacijah [2] [5] [6].