Výkon GPT-4 na jednotném barové zkoušce (UBE) byl předmětem významného zájmu a debaty, ale o výkonu GPT-4.5 nejsou k dispozici žádné konkrétní informace. Pochopení výkonu GPT-4 však může poskytnout nahlédnutí do toho, jak by mohly být budoucí verze, jako je GPT-4.5, vnímána v právním prostředí.
GPT-4 je výkon na Ube
Bylo původně hlášeno, že GPT-4 dosáhl skóre poblíž 90. percentilu na UBE, což vyvolalo značné vzrušení z jeho potenciálu v právních kontextech [5] [7]. Následující analýzy však o tomto tvrzení vyvolaly pochybnosti, což naznačuje, že výkon byl přeceňován. Například ve srovnání s opakovanými testovateli se skóre GPT-4 zdálo působivé, ale když bylo vyhodnoceno proti všem testovacím nebo prvním zkoušeným, byl jeho výkon výrazně nižší, odhadován kolem 69. percentilu celkově a asi 48. percentil v esejích [1] [2] [4].
Důsledky pro důvěryhodnost v právním prostředí
1. Metodické obavy: nesrovnalosti v hlášených výkonu zdůrazňují metodologické výzvy při hodnocení modelů AI, jako je GPT-4. Tyto obavy mohou mít vliv na to, jak jsou budoucí verze vnímány, protože mohou také čelit podobným výzvám při prokázání konzistentního výkonu v různých testovacích populacích.
2. Srovnání s lidským výkonem: Schopnost GPT-4 složit zkoušku BAR, zejména vynikající v sekcích s více možnostmi výběru, jako je multistátní barová zkouška (MBE), navrhuje potenciál pro AI v právních úkolech vyžadujících faktické stažení a analýzu [5]. Jeho slabší výkon na sekcích esejů však naznačuje omezení v jemnějších právních odůvodnění a psaní, což jsou kritickými dovednostmi pro právní profesionály.
3. potenciální aplikace: Navzdory těmto omezením by modely AI jako GPT-4 a potenciálně GPT-4.5 mohly být v právním prostředí cenné pro úkoly, jako je přezkum dokumentů, výzkumná pomoc a rutinní právní dokumenty. Jejich schopnost rychle a přesně zpracovávat velké objemy informací může podporovat právní profesionály, i když je nepravděpodobné, že nahradí lidský úsudek a složité právní odůvodnění.
4. Etické a regulační úvahy: Vzhledem k tomu, že se AI bude více integrovat do právní práce, bude zvyšovat kontrolu jeho spolehlivosti a etických důsledků. Pro udržení důvěryhodnosti v právních kontextech bude zásadní zajištění toho, aby nástroje AI byly transparentní, spravedlivé a nezhodnocovaly stávající zkreslení.
Stručně řečeno, zatímco o výkonu GPT-4 na UBE se diskutovalo, zdůrazňuje potenciál i omezení AI v právním prostředí. Budoucí verze, jako je GPT-4.5, budou muset tyto výzvy řešit ke zvýšení důvěryhodnosti a užitečnosti v právních žádostech.
Citace:
[1] https://law-ai.org/re-valuating-gpt-4s-bar-exam-erformance/
[2] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4441311
[3] https://pmc.ncbi.nlm.nih.gov/articles/pmc10884900/
[4] https://ethicalailawinstitute.org/blog/gpt-4-and-t-ar-exam-closer-at-the-ype-and-reality/
[5] https://www.abajournal.com/web/article/latest-version-of-chatgpt-as-the-at-xam-with-score-in-90.-Percentile
[6] https://www.researchgate.net/publication/379435142_re-evaluating_gpt-4's_bar_exam_performance
[7] https://openai.com/index/gpt-4-research/
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc10894685/