Продуктивність GPT-4 на єдиному іспиті (UBE) була предметом значного інтересу та дискусій, але конкретної інформації про ефективність GPT-4.5 немає. However, understanding GPT-4's performance can provide insights into how future versions like GPT-4.5 might be perceived in legal settings.
виступ GPT-4 на UBE
Спочатку повідомлялося, що GPT-4 досягла балів біля 90-го перцентиля на UBE, що породило значне хвилювання щодо його потенціалу в юридичному контексті [5] [7]. Однак наступні аналізи викликали сумніви щодо цієї претензії, що дозволяє припустити, що результативність була завищена. Наприклад, у порівнянні з повторними учасниками тестів, оцінка GPT-4 здавалася вражаючою, але, оцінюючись проти всіх учасників тестів або вперше обстежувачів, його ефективність була значно нижчою, оцінюється приблизно в цілому 69-му перцентилі та приблизно 48-м перцентилем на нарисах [1] [2] [4].
Наслідки для довіри в юридичних умовах
1. Методологічні проблеми: розбіжності у повідомленні про результативність методологічних проблем при оцінці моделей AI, таких як GPT-4. Ці занепокоєння можуть вплинути на те, як сприймаються майбутні версії, оскільки вони також можуть зіткнутися з подібними проблемами у демонстрації послідовних показників у різних тестових популяціях.
2. Порівняння з діяльністю людини: здатність GPT-4 пройти іспит на брусок, зокрема, видатні в розділах з декількома виборами, як багатоступенева експертиза (MBE), пропонує потенціал для AI у юридичних завданнях, що потребують фактичного відкликання та аналізу [5]. Однак його слабкіше виконання розділів есе вказує на обмеження більш нюансованих юридичних міркувань та письма, які є критичними навичками для юридичних фахівців.
3. Потенційні програми: Незважаючи на ці обмеження, такі моделі AI, такі як GPT-4 та потенційно GPT-4.5, все ще можуть бути цінними в юридичних умовах для таких завдань, як огляд документів, допомога в дослідженні та розробка звичайних юридичних документів. Їх здатність швидко та точно обробляти великі обсяги інформації може підтримувати юридичних фахівців, хоча вони навряд чи замінять людське судження та складні юридичні міркування.
4. Етичні та регуляторні міркування: Оскільки AI стає більш інтегрованим у юридичну роботу, зростає перевірка його надійності та етичних наслідків. Забезпечення того, щоб інструменти AI були прозорими, справедливими та не посилюють існуючі упередження, буде вирішальним для підтримки довіри в юридичних контекстах.
Підсумовуючи це, хоча виступ GPT-4 на UBE обговорювався, він підкреслює як потенціал, так і обмеження ШІ в юридичних умовах. Майбутні версії, такі як GPT-4.5, повинні будуть вирішити ці виклики для підвищення довіри та корисності в юридичних заявах.
Цитати:
[1] https://law-ai.org/re-evaluting-gpt-4s-bar-exam-performance/
[2] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4441311
[3] https://pmc.ncbi.nlm.nih.gov/articles/pmc10884900/
[4] https://ethicalailawinstitute.org/blog/gpt-4-and-the-bar-exam--closer-look-at-the-hype-and-reality/
[5] https://www.abajournal.com/web/article/latest-version-of-chatgpt-aces-the-bar-exam-with-score-in-90th-percentile
[6] https://www.researchgate.net/publication/379435142_re-evaluating_gpt-4's_bar_exam_performance
[7] https://openai.com/index/gpt-4-research/
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc10894685/