Claude de 3,5 sonetos da Anthropic é um novo e poderoso modelo de IA generativo que supera os concorrentes como o ChatGPT-4O em várias áreas [1]. Em uma avaliação interna de codificação agêntica, Claude 3,5 sonetos resolveu 64% dos problemas, enquanto Claude 3 Opus resolveu 38% [1]. No raciocínio de nível de pós-graduação, obteve 59% em comparação com os 53% do ChatGPT-4O [1]. No raciocínio sobre o texto, o Claude 3,5 sonetos obteve 87%, superando o ChatGPT-4O (83%), o Gemini (74%) do Google (83%) do Google [1]. No entanto, o ChatGPT-4O foi 5% mais preciso que o Claude 3,5 na solução de problemas de matemática [1].
Em todo o MMLU, GPQA, GSM8K, MATH, MGSM, Humaneval, Drop, Benchmarks de grande porte, desafio ao arco e Hellaswag, os dados do Antrópico sugerem que eles superam o GPT-4 [2]. Esses testes abrangem uma ampla gama de conhecimentos, de fatos e matemática ao raciocínio e geração de código [2].
Os modelos Claude 3 da Anthropic, especialmente o Opus, geralmente superam os modelos GPT-4 do OpenAI e o Gemini do Google em várias tarefas [3]. Claude 3 mostrou desempenho superior em tarefas de codificação, pontuando 84,9%em benchmarks como o Humaneval, superando o GPT-4 (67%) e Gemini 1.0 Pro (67,7%) [3]. Claude 3 sonetos também se destacou em tarefas complexas de análise quantitativa, onde o GPT-4 e Gemini às vezes lutavam [3].
O antropic expandiu além do texto em entrada visual para o treinamento de dados com a família Claude 3 [7]. Os modelos Claude 3 também permitem que os usuários analisem dados, incluindo imagens, gráficos e documentos, por meio de seu novo recurso de suporte multimodal [4].
Ao escolher um modelo de IA, as empresas devem considerar precisão, velocidade, privacidade, facilidade de implantação ou manutenção e custo [4].
Citações:
[1] https://www.euronews.com/next/2024/06/20/antrópica--launches-its-latest-most-powerful-generative-ai-model
[2] https://synthedia.substack.com/p/antrópica-says-it-just-dethroned
[3] https://www.voiceflow.com/articles/antrópica-ai
[4)
[5] https://cloud.google.com/solutions/anthrópico
[6] https://www.promptitude.io/post/navigating-the-ai-landscape-openai-vs-anthropic-vs-google-ai-in-2024
[7] https://www.nextplatform.com/2024/03/05/antrópica-firesoff-performance-and-price-salvos-in-ai-war/
[8] https://big-agi.com/blog/ai-api-comparison-2024-anthropic-vs-google-vs-openai