„GPT-4“ atlikimas vienodoje juostos egzaminoje (UBE) buvo svarbus susidomėjimas ir diskusijos, tačiau nėra jokios konkrečios informacijos apie GPT-4.5 veiklą. Tačiau supratimas apie GPT-4 našumą gali suteikti įžvalgos apie tai, kaip būsimos versijos, tokios kaip GPT-4.5, gali būti suvokiamos teisinėse aplinkose.
GPT-4 pasirodymas „Ube“
Iš pradžių buvo pranešta, kad GPT-4 pasiekė balą beveik 90-ąjį procentilį UBE, o tai sukėlė nemažą jaudulį dėl jo galimybių teisiniuose kontekstuose [5] [7]. Tačiau vėlesnės analizės sukėlė abejonių dėl šio teiginio, o tai rodo, kad našumas buvo pervertintas. Pavyzdžiui, palyginti su pakartotiniais testų atlikėjais, GPT-4 balas atrodė įspūdingas, tačiau įvertinus visus bandymo dalyvius ar pirmą kartą egzaminuotus egzaminuotojus, jo našumas buvo žymiai mažesnis, įvertintas maždaug 69-osios procentilės ir maždaug 48-osios procentilės esė [1] [2] [4].
Poveikis patikimumui teisinėms aplinkybėms
1. Metodiniai rūpesčiai: praneštų veiklos rezultatų neatitikimai pabrėžia metodinius iššūkius vertinant AI modelius, tokius kaip GPT-4. Šie rūpesčiai gali turėti įtakos būsimų versijų suvokimui, nes jos taip pat gali susidurti su panašiais iššūkiais, rodančiais nuoseklų našumą įvairiose bandymų populiacijose.
2. Palyginimas su žmogaus rezultatais: GPT-4 gebėjimas išlaikyti juostos egzaminą, ypač puikiai išskirtiniame skyriuose su atsakymų variantais, tokiais kaip daugiapakopis juostos egzaminas (MBE), rodo AI potencialą atliekant teisines užduotis, kurioms reikia faktinio atšaukimo ir analizės [5]. Tačiau silpnesnis esė skyriuose nurodomi niuansuotesnių teisinių samprotavimų ir rašymo apribojimai, kurie yra kritiniai įgūdžiai teisininkų specialistams.
3. Potencialios programos: Nepaisant šių apribojimų, AI modeliai, tokie kaip GPT-4 ir potencialiai GPT-4.5, vis tiek gali būti vertingos teisinėse užduotyse, tokiose kaip dokumentų peržiūra, pagalba tyrimams ir įprastų teisinių dokumentų rengimas. Jų gebėjimas greitai ir tiksliai apdoroti didelius informacijos kiekius gali palaikyti teisininkų specialistus, nors jie greičiausiai nepakeis žmogaus sprendimo ir sudėtingų teisinių samprotavimų.
4. Etiniai ir reguliavimo sumetimai: AI labiau integruota į teisinį darbą, vis labiau tikrins jo patikimumą ir etinius padarinius. Užtikrinti, kad AI įrankiai būtų skaidrūs, sąžiningi ir nestiprintų esamų šališkumo, bus labai svarbus norint išlaikyti patikimumą teisiniame kontekste.
Apibendrinant galima pasakyti, kad nors „GPT-4“ pasirodymas UBE buvo diskutuojamas, jis pabrėžia AI potencialą ir apribojimus teisinėse aplinkose. Būsimoms versijoms, tokioms kaip GPT-4.5, reikės spręsti šiuos iššūkius, kad būtų padidintas patikimumas ir naudingumas teisinėse programose.
Citatos:
[1]
[2] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4441311
[3] https://pmc.ncbi.nlm.nih.gov/articles/pmc10884900/
]
[5] https://www.abaJournal.com/web/article/latest-version-of-chatgpt-ace--bar-exam-with-core-in-90th-fentille
[6] https://www.researchgate.net/publication/379435142_re-evaluating_gpt-4's_bar_exam_performance
[7] https://openai.com/index/gpt-4-research/
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc10894685/