El soneto Claude 3.5 de Anthrope es un nuevo y poderoso modelo de IA generativo que supera a los competidores como ChatGPT-4O en varias áreas [1]. En una evaluación de codificación de agente interna, el soneto Claude 3.5 resolvió el 64% de los problemas, mientras que Claude 3 OPUS resolvió el 38% [1]. En el razonamiento de nivel de posgrado, obtuvo un 59% en comparación con el 53% de ChatGPT-4O [1]. En el razonamiento sobre el texto, Claude 3.5 Sonnet obtuvo un 87%, superando a ChatGPT-4O (83%), Gemini de Google (74%) y LLAMA de Meta (83%) [1]. Sin embargo, el chatGPT-4O fue un 5% más preciso que Claude 3.5 en la resolución de problemas de matemáticas [1].
A través de los puntos de referencia MMLU, GPQA, GSM8K, Math, MGSM, Humaneval, Drop, Big-Bench-Bench, Arc-Challenge y Hellowag, los datos de Anthrope sugieren que supera a GPT-4 [2]. Estas pruebas abarcan una amplia gama de conocimientos, desde hechos y matemáticas hasta razonamiento y generación de códigos [2].
Los modelos Claude 3 de Anthrope, especialmente Opus, generalmente superan a los modelos GPT-4 y Gemini de Google en varias tareas [3]. Claude 3 mostró un rendimiento superior en las tareas de codificación, obteniendo un 84.9%en puntos de referencia como Humaneval, superando a GPT-4 (67%) y Gemini 1.0 Pro (67.7%) [3]. El soneto de Claude 3 también se destacó en tareas de análisis cuantitativo complejos, donde GPT-4 y Gemini a veces luchaban [3].
Anthrope se ha expandido más allá del texto a la entrada visual para los datos de entrenamiento con la familia Claude 3 [7]. Los modelos Claude 3 también permiten a los usuarios analizar datos, incluidas imágenes, gráficos y documentos, a través de su nueva función de soporte multimodal [4].
Al elegir un modelo de IA, las empresas deben considerar la precisión, la velocidad, la privacidad, la facilidad de implementación o el mantenimiento, y el costo [4].
Citas:
[1] https://www.euronews.com/next/2024/06/20/anthropic-laces-its-latest-most-powerful-generative-ai-model
[2] https://synthedia.substack.com/p/anthropic-says-it-just-Dethroned
[3] https://www.voiceflow.com/articles/anthropic-ai
[4] https://www.pymnts.com/news/artificial-intelligence/2024/how-anthropics-new-claude-3-ai-model-stacks-painst-the-competition/
[5] https://cloud.google.com/solutions/anthropic
[6] https://www.prompptitude.io/post/navigating-the-ai-landscape-openai-vs-anthropic-vs-google-ai-in-2024
[7] https://www.nextplatform.com/2024/03/05/anthropic-fires off-performance-and-price-salvos-in-ai-war/
[8] https://big-agi.com/blog/ai-api-comparison-2024-anthropic-vs-google-vs-openai