Učinkovitost GPT-4 na Uniform Bar izpitu (UBE) je bila predmet velikega zanimanja in razprav, vendar o uspešnosti GPT-4.5 ni na voljo posebnih informacij. Vendar lahko razumevanje uspešnosti GPT-4 omogoči vpogled v to, kako bi lahko prihodnje različice, kot je GPT-4.5, dojemale v pravnih okoljih.
GPT-4 na UBE
Sprva so poročali, da je GPT-4 dosegel oceno v bližini 90. odstotka na UBE, kar je povzročilo veliko navdušenja nad njegovim potencialom v pravnih okoliščinah [5] [7]. Vendar so poznejše analize sprožile dvome o tej trditvi, kar kaže na to, da je bila uspešnost precenjena. Na primer, ocena GPT-4 se je v primerjavi s ponavljanjem preskusnih udeležencev zdela impresivna, vendar je bila, ko je bila ocenjena glede na vse preizkuševalce ali prvim pregledom, njegova uspešnost bistveno nižja, ocenjena okoli 69. odstotka na splošno in približno 48. odstotek na esejih [1] [2] [4].
Posledice za verodostojnost v pravnih nastavitvah
1. Metodološki pomisleki: neskladja pri poročanih uspešnosti poudarjajo metodološke izzive pri ocenjevanju modelov AI, kot je GPT-4. Ti pomisleki lahko vplivajo na to, kako se dojemajo prihodnje različice, saj se lahko soočajo tudi s podobnimi izzivi pri dokazovanju doslednih uspešnosti med različnimi preskusnimi populacijami.
2. Primerjava s človeško uspešnostjo: zmožnost GPT-4, da opravi izpit, zlasti odlična v odsekih z več izbirami, kot je večstopenjski izpit (MBE), predlaga potencial za AI pri pravnih nalogah, ki zahtevajo dejanski priklic in analizo [5]. Vendar njegova šibkejša uspešnost na oddelkih za eseje kaže na omejitve v bolj zatemnjenem pravnem sklepanju in pisanju, ki so ključne spretnosti za pravne strokovnjake.
3. Potencialne aplikacije: Kljub tem omejitvam bi lahko modeli AI, kot sta GPT-4 in potencialno GPT-4.5, še vedno dragoceni v pravnih nastavitvah za naloge, kot so pregled dokumentov, raziskovalna pomoč in pripravljanje rutinskih pravnih dokumentov. Njihova sposobnost, da hitro in natančno obdelajo velike količine informacij, lahko podpira pravne strokovnjake, čeprav verjetno ne bodo nadomestili človeške presoje in zapletenega pravnega sklepanja.
4. Etični in regulativni premisleki: Ko se AI bolj vključi v pravno delo, bo vse večje preučevanje njegove zanesljivosti in etičnih posledic. Zagotavljanje, da so AI orodja pregledna, poštena in ne bodo poslabšala obstoječih pristranskosti, bo ključnega pomena za ohranjanje verodostojnosti v pravnih okoliščinah.
Če povzamemo, medtem ko je bila razpravljala o uspešnosti GPT-4 na UBE, poudarja tako potencial kot omejitve AI v pravnih okoljih. Prihodnje različice, kot je GPT-4.5, se bodo morale spoprijeti s temi izzivi, da bi izboljšale verodostojnost in uporabnost v pravnih prijavah.
Navedbe:
[1] https://law-ai.org/re-evaluting-gpt-4s-bar-exam-performance/
[2] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4441311
[3] https://pmc.ncbi.nlm.nih.gov/articles/pmc10884900/
[4] https://ethicalailawinstitute.org/blog/gpt-4-and-the-bar-exam-a-closer-look-at-thehype-and-reality/
[5] https://www.abajournal.com/web/article/latest-version-of-chatgpt-aces-the-bar-exam-with-score-in-90th-percent
[6] https://www.researchgate.net/publication/379435142_re-evaluting_gpt-4'S_Bar_exam_performance
[7] https://openai.com/index/gpt-4-research/
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc10894685/