Anthropics Claude 3.5 Sonnet er en ny og kraftig generativ AI-modell som overgår konkurrenter som ChatGPT-4O på flere områder [1]. I en intern agentkodingsevaluering løste Claude 3.5 Sonnet 64% av problemene, mens Claude 3 Opus løste 38% [1]. På resonnement på høyere nivå scoret det 59% sammenlignet med ChatGPT-4Os 53% [1]. I resonnement over tekst scoret Claude 3,5 sonnet 87%, og overgikk ChatGPT-4O (83%), Googles Gemini (74%) og Metas Llama (83%) [1]. ChatGPT-4O var imidlertid 5% mer nøyaktig enn Claude 3,5 i matematikkproblemløsing [1].
Over MMLU, GPQA, GSM8K, MATH, MGSM, HumaneVal, Drop, Big-Bench-Hard, Arc-Challenge og Hellaswag Benchmarks, antyder Anthropics data at det overgår GPT-4 [2]. Disse testene omfatter et bredt spekter av kunnskap, fra fakta og matematikk til resonnement og kodegenerering [2].
Anthropics Claude 3-modeller, spesielt Opus, overgår generelt Openais GPT-4 og Googles Gemini-modeller på forskjellige oppgaver [3]. Claude 3 viste overlegen ytelse i kodingsoppgaver, og scoret 84,9%på benchmarks som HumanEval, og overgikk GPT-4 (67%) og Gemini 1.0 Pro (67,7%) [3]. Claude 3 Sonnet utmerket seg også ved komplekse kvantitative analyseoppgaver, der GPT-4 og Gemini noen ganger slet [3].
Anthropic har utvidet seg utover tekst til visuell inngang for treningsdata med Claude 3 -familien [7]. Claude 3 -modellene lar også brukere analysere data, inkludert bilder, diagrammer og dokumenter, gjennom den nye multimodale supportfunksjonen [4].
Når du velger en AI -modell, bør virksomheter vurdere nøyaktighet, hastighet, personvern, enkel distribusjon eller vedlikehold og kostnad [4].
Sitasjoner:
[1] https://www.euronews.com/next/2024/06/20/antropic-launches-its-latest-most-powerful-generative-ai-modellen
[2] https://synthedia.substack.com/p/anthropic-says-it- rust-dahroned
[3] https://www.voiceflow.com/articles/anthropic-ai
[4] https://www.pymnts.com/news/artificial-intelligence/2024/how-anthropics-new-claude-3-ai-model-stacks-p-awainst-thecompetition/
[5] https://cloud.google.com/solutions/anthropic
[6] https://www.promptitude.io/post/navigating-the-ai-landscape-openai-vs-antropic-vs-google-ai--in-2024
[7] https://www.nextplatform.com/2024/03/05/anthropic-fires-off-performance-and-price-salvos-in-ai-war/
[8] https://big-egi.com/blog/ai-api-comparison-2024-antropic-vs-google-vs-openai