Remiantis paieškos rezultatais, „Claude 3.5 Sonnet“ palyginamas su GPT-4 pagal kodavimo tikslumą:
1. Kodavimo įgūdžiai (HumanEval etalonas):
- Claude 3.5 Sonnetas: 92,0 % tikslumas (0 kadrų)
– GPT-4o: 90,2 % tikslumas (0 kadrų)
Paieškos rezultatai rodo, kad Claude 3.5 Sonnetas pranoksta GPT-4o pagal HumanEval etaloną, kuris matuoja kodavimo įgūdžius. Claude 3.5 Sonnetas pasiekė aukštesnį 92,0 % tikslumo balą, palyginti su GPT-4o 90,2 %.
2. Agentinio kodavimo įvertinimas:
- Claude 3.5 Sonnetas: išsprendė 64% problemų
- Claude 3 Opus: išsprendė 38% problemų
Anthropic atliktame vidiniame agentinio kodavimo vertinime Claude 3.5 Sonnet sugebėjo išspręsti 64% problemų, gerokai pranokdamas ankstesnį Claude 3 Opus modelį, kuris išsprendė tik 38% problemų. Tai rodo puikias Claude 3.5 Sonnet kodavimo galimybes, palyginti su ankstesniais modeliais.
Paieškos rezultatai nepateikia tiesioginio palyginimo tarp Claude 3.5 Sonnet ir GPT-4 agentinio kodavimo vertinimo požiūriu. Tačiau geras „Claude 3.5 Sonnet“ našumas pagal HumanEval etaloną ir vidinis agentinis kodavimo vertinimas rodo, kad jis greičiausiai lenkia GPT-4 kodavimo tikslumu ir problemų sprendimo galimybėmis.
Apskritai, paieškos rezultatai rodo, kad „Claude 3.5 Sonnet“ yra labai galingas modelis, kai kalbama apie kodavimo užduotis, kodavimo tikslumu ir problemų sprendimu lenkiantis GPT-4o ir ankstesnius „Claude“ modelius.
Citatos:[1] https://www.vellum.ai/blog/claude-3-5-sonnet-vs-gpt4o
[2] https://apidog.com/blog/claude-3-5-sonnet/
[3] https://cryptoslate.com/claude-3-5-sets-new-ai-benchmarks-beating-gpt-4o-in-coding-and-reasoning/
[4] https://www.trendlinenews.com/article/Claude-35-Sonnet-is-Leading-the-Way-in-AI-Performance-and-Versatility
[5] https://www.anthropic.com/news/claude-3-5-sonnet