Kinerja GPT-4 pada Ujian Bar Seragam (UBE) telah menjadi subjek yang memiliki minat dan debat yang signifikan, tetapi tidak ada informasi spesifik yang tersedia tentang kinerja GPT-4.5. Namun, memahami kinerja GPT-4 dapat memberikan wawasan tentang bagaimana versi masa depan seperti GPT-4.5 dapat dirasakan dalam pengaturan hukum.
Kinerja
GPT-4 di UBE
GPT-4 awalnya dilaporkan telah mencapai skor di dekat persentil ke-90 pada UBE, yang menghasilkan kegembiraan yang cukup besar tentang potensinya dalam konteks hukum [5] [7]. Namun, analisis selanjutnya telah menimbulkan keraguan tentang klaim ini, menunjukkan bahwa kinerja terlalu tinggi. Misalnya, jika dibandingkan dengan pengambil tes berulang, skor GPT-4 tampak mengesankan, tetapi ketika dievaluasi terhadap semua pengambil tes atau ujian pertama kali, kinerjanya secara signifikan lebih rendah, diperkirakan sekitar persentil ke-69 secara keseluruhan dan sekitar persentil ke-48 pada esai [1] [2] [4].
Implikasi untuk kredibilitas dalam pengaturan hukum
1. Kekhawatiran metodologis: Perbedaan dalam kinerja yang dilaporkan menyoroti tantangan metodologis dalam mengevaluasi model AI seperti GPT-4. Kekhawatiran ini dapat memengaruhi bagaimana versi masa depan dirasakan, karena mereka juga dapat menghadapi tantangan yang sama dalam menunjukkan kinerja yang konsisten di berbagai populasi uji.
2. Perbandingan dengan Kinerja Manusia: Kemampuan GPT-4 untuk lulus ujian batang, terutama unggul di bagian pilihan ganda seperti ujian Bar Multistate (MBE), menunjukkan potensi AI dalam tugas hukum yang membutuhkan penarikan kembali dan analisis faktual [5]. Namun, kinerjanya yang lebih lemah pada bagian esai menunjukkan keterbatasan dalam penalaran dan penulisan hukum yang lebih bernuansa, yang merupakan keterampilan penting bagi para profesional hukum.
3. Aplikasi potensial: Terlepas dari keterbatasan ini, model AI seperti GPT-4 dan berpotensi GPT-4.5 masih bisa berharga dalam pengaturan hukum untuk tugas-tugas seperti tinjauan dokumen, bantuan penelitian, dan penyusunan dokumen hukum rutin. Kemampuan mereka untuk memproses volume informasi yang besar dengan cepat dan akurat dapat mendukung para profesional hukum, meskipun mereka tidak mungkin menggantikan penilaian manusia dan penalaran hukum yang kompleks.
4. Pertimbangan etis dan peraturan: Ketika AI menjadi lebih terintegrasi ke dalam pekerjaan hukum, akan ada peningkatan pengawasan keandalan dan implikasi etisnya. Memastikan bahwa alat AI transparan, adil, dan tidak memperburuk bias yang ada akan sangat penting untuk mempertahankan kredibilitas dalam konteks hukum.
Singkatnya, sementara kinerja GPT-4 di UBE telah diperdebatkan, itu menyoroti potensi dan keterbatasan AI dalam pengaturan hukum. Versi masa depan seperti GPT-4.5 perlu mengatasi tantangan ini untuk meningkatkan kredibilitas dan utilitas dalam aplikasi hukum.
Kutipan:
[1] https://law-ai.org/re-evaluating-gpt-4s-bar-exam-performance/
[2] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=44441311
[3] https://pmc.ncbi.nlm.nih.gov/articles/pmc10884900/
[4.
[5] https://www.abajournal.com/web/article/latest-version-of-chatgpt-aces-the-bar-exam-with-score-in-90th-persentil
[6] https://www.researchgate.net/publication/379435142_re-evaluating_gpt-4's_bar_exam_performance
[7] https://openai.com/index/gpt-4-research/
[8] https://pmc.ncbi.nlm.nih.gov/articles/pmc10894685/