Anthropic's Claude 3.5 Sonnet är en ny och kraftfull generativ AI-modell som överträffar konkurrenter som chatgpt-4o i flera områden [1]. I en intern agentisk kodningsutvärdering löste Claude 3.5 Sonnet 64% av problemen, medan Claude 3 Opus löste 38% [1]. Vid resonemang på forskarnivå fick den 59% jämfört med Chatgpt-4O: s 53% [1]. I resonemang över text fick Claude 3.5 Sonnet 87%, överträffade Chatgpt-4O (83%), Googles Gemini (74%) och Metas lama (83%) [1]. Emellertid var chatgpt-4o 5% mer exakt än Claude 3.5 i matematikproblemlösning [1].
Över MMLU, GPQA, GSM8K, MATH, MGSM, HumanEval, Drop, Big-Bench-Hard, Arc-Challenge och Hellaswag Benchmarks, antropics data föreslår att det överträffar GPT-4 [2]. Dessa tester omfattar ett brett spektrum av kunskap, från fakta och matematik till resonemang och kodgenerering [2].
Anthropic's Claude 3-modeller, särskilt Opus, överträffar vanligtvis OpenAI: s GPT-4 och Googles Gemini-modeller på olika uppgifter [3]. Claude 3 visade överlägsen prestanda i kodningsuppgifter och gjorde 84,9%på riktmärken som humaneval, överträffade GPT-4 (67%) och Gemini 1.0 Pro (67,7%) [3]. Claude 3 Sonnet utmärkte sig också vid komplexa kvantitativa analysuppgifter, där GPT-4 och Gemini ibland kämpade [3].
Anthropic har expanderat utöver text till visuell input för träningsdata med Claude 3 -familjen [7]. Claude 3 -modellerna tillåter också användare att analysera data, inklusive bilder, diagram och dokument, genom dess nya multimodala supportfunktion [4].
När du väljer en AI -modell bör företag överväga noggrannhet, hastighet, integritet, enkel distribution eller underhåll och kostnad [4].
Citeringar:
]
[2] https://synthedia.substack.com/p/anthropic-says-it-just-dethroned
[3] https://www.voiceflow.com/articles/anthropic-ai
]
[5] https://cloud.google.com/solutions/anthropic
[6] https://www.promptitude.io/post/navigating-ai-i-landscape-openai-vs-anthropic-vs-google-ai-in-2024
]
[8] https://big-agi.com/blog/ai-api-comparison-2024-anthropic-vs-google-vs-openai