„Anthropic“ „Claude 3.5 Sonnet“ yra naujas ir galingas generatyvus AI modelis, pralenkiantis konkurentus, tokius kaip „ChatGPT-4o“ keliose srityse [1]. Vidiniame agento kodavimo vertinime Claude 3.5 sonetas išsprendė 64% problemų, o Claude 3 opus išsprendė 38% [1]. Dėl absolventų lygio samprotavimų jis surinko 59%, palyginti su 53% „ChatGPT-4o“ [1]. Priežiūros dėl teksto, „Claude 3.5 Sonnet“ surinko 87%, pralenkdamas „ChatGPT-4o“ (83%), „Google's Gemini“ (74%) ir „Meta“ llama (83%) [1]. Tačiau „ChatGPT-4o“ buvo 5% tikslesni nei Claude 3.5, kai matematikos problemų sprendimas [1].
Visoje MMLU, GPQA, GSM8K, MATH, MGSM, Humaneval, Drop, Big Bend-Hard, Arc Challenge ir Hellaswag etalonuose, antropic duomenys rodo, kad jis pralenkia GPT-4 [2]. Šie testai apima daugybę žinių, pradedant faktais ir matematika, baigiant samprotavimais ir kodų generavimu [2].
„Anthropic“ „Claude 3“ modeliai, ypač „Opus“, paprastai pralenkia „Openai“ GPT-4 ir „Google“ „Gemini“ modelius apie įvairias užduotis [3]. „Claude 3“ parodė aukštesnius kodavimo užduotis, įvertinus 84,9%tokių etalonų kaip „Humaneval“, pralenkiantis GPT-4 (67%) ir „Gemini 1.0 Pro“ (67,7%) [3]. „Claude 3 Sonnet“ taip pat pasižymėjo sudėtingomis kiekybinėmis analizės užduotimis, kai GPT-4 ir Dvyniai kartais kovojo [3].
„Anthropic“ išplėtė ne tik tekstą į vaizdinį įvestį mokymo duomenims su „Claude 3“ šeima [7]. „Claude 3“ modeliai taip pat leidžia vartotojams analizuoti duomenis, įskaitant paveikslėlius, diagramas ir dokumentus per savo naują multimodalinę palaikymo funkciją [4].
Rinkdamiesi AI modelį, įmonės turėtų atsižvelgti į tikslumą, greitį, privatumą, palengvinimo ar priežiūros lengvumą ir kainą [4].
Citatos:
[1] https://www.euronews.com/next/2024/06/20/Anthropic-launches-its-latest-emost-powulful-generative-ai-model
[2] https://synthedia.substack.com/p/anthropic-says-it-just-setrroned
[3] https://www.voicflow.com/articles/anthropic-ai
[4] https://www.pymnts.com/news/artificial-intelligence/2024/how-anthropics-new-laude-3-ai-model-stacks-up-against-the-competition/
[5] https://cloud.google.com/solutions/anthropic
[6] https://www.prompttitude.io/post/navigating-the-ai-landscape-openai-vs-anthropic-vs-google-ai-in-2024
[7] https://www.nextplatform.com/2024/03/05/Anthropic-fires-Off-formance-and-price-salvos-in-ai-war/
[8] https://big-agi.com/blog/ai-api-comparion-2024-anthropic-vs-google-vs-openai
