Як сонет Клода 3.5 порівнюється з GPT-4 з точки зору точності кодування

1. Вміння кодувати (HumanEval Benchmark):
- Claude 3.5 Sonnet: точність 92,0% (0-shot)
- GPT-4o: точність 90,2% (0 пострілів)

Результати пошуку показують, що Claude 3.5 Sonnet перевершує GPT-4o за еталонним тестом HumanEval, який вимірює вміння кодувати. Claude 3.5 Sonnet досяг вищого результату точності 92,0% порівняно з GPT-4o 90,2%.

2. Оцінка агентського кодування:
- Клод 3.5 Сонет: Вирішено 64% ​​проблем
- Claude 3 Opus: Вирішено 38% проблем

Під час внутрішньої оцінки агентного кодування, проведеної компанією Anthropic, Claude 3.5 Sonnet вдалося вирішити 64% проблем, значно перевершивши попередню модель Claude 3 Opus, яка вирішила лише 38% проблем. Це демонструє кращі можливості кодування Claude 3.5 Sonnet порівняно з попередніми моделями.

Результати пошуку не забезпечують прямого порівняння між Claude 3.5 Sonnet і GPT-4 з точки зору агентської оцінки кодування. Однак високі показники Claude 3.5 Sonnet у тесті HumanEval і оцінці внутрішнього агентного кодування свідчать про те, що він, швидше за все, перевершує GPT-4 з точки зору точності кодування та здатності розв’язувати проблеми.

Загалом результати пошуку свідчать про те, що Claude 3.5 Sonnet є високопродуктивною моделлю, коли йдеться про завдання кодування, перевершуючи GPT-4o та попередні моделі Claude з точки зору точності кодування та вирішення проблем.