Katere so ključne razlike v podatkih o predobravnanju, ki se uporabljajo za GROK 3 in GPT-4O

1. infrastruktura za usposabljanje in računalniška moč: Grok 3 je bil usposobljen za Xai's Colossus Supercluster, ki je eden največjih skupin za trening na svetu, ki uporablja več kot 100.000 Nvidia H100 GPU. To je zagotovilo bistveno večjo računalniško moč v primerjavi s prejšnjimi modeli, kar omogoča obsežno usposabljanje v velikem obsegu [1] [3]. Nasprotno pa posebne podrobnosti o infrastrukturi za usposabljanje GPT-4O niso tako javno podrobne, vendar je znano, da OpenAI uporablja tudi obsežne računalniške vire.

2. Podatki o usposabljanju: Grok 3 je bil usposobljen za kombinacijo javno dostopnih internetnih podatkov in lastniških naborov podatkov iz X (prej Twitterja), ki mu je omogočil dostop do podatkov v realnem času in trenutnih dogodkih [1] [7]. GPT-4O je, tako kot drugi modeli GPT, usposobljen na obsežnem internetnem naboru podatkov, vendar nima integracije podatkov v realnem času, ki jo ima GROK 3.

3. Kontekstna okna in obdelava podatkov: Grok 3 ima kontekstno okno do 1 milijon žetonov, ki omogoča učinkovito obdelavo obsežnih dokumentov in zapletenih pozivov [1]. Medtem ko ima GPT-4O tudi veliko kontekstno okno, je Grok 3's posebej poudarjen zaradi svoje sposobnosti učinkovitega ravnanja z dolgimi zaporedji.

4. Dostop do podatkov v realnem času: GROK 3 ima koristi od dostopa do podatkov v realnem času s svojo integracijo z X, kar povečuje njegovo sposobnost razpravljanja o trenutnih dogodkih in analizira sveže informacije [5]. GPT-4O nima tega dostopa do realnega časa, saj se podatki o treningu običajno zmanjšajo v določenem trenutku.