GPT-4.5, seperti pendahulunya GPT-4, menghadapi beberapa keterbatasan dalam penelitian kimia. Keterbatasan ini sangat penting untuk memahami potensi dan tantangan menggunakan model bahasa besar di bidang ini.
1. Pengetahuan dasar dan tugas khusus
-Basis Pengetahuan: GPT-4.5, mirip dengan GPT-4, memiliki dasar yang kuat dalam kimia tingkat buku teks, termasuk prinsip kimia fisik dan organik. Namun, mungkin tidak memiliki akses ke artikel penelitian terbaru karena pembatasan hak cipta dan batasan data pelatihan [1].- Tugas Khusus: Dalam tugas seperti prediksi reaksi dan retrosintesis, model GPT umumnya berkinerja lebih buruk daripada model pembelajaran mesin khusus yang dilatih pada dataset kimia spesifik [8]. Ini menunjukkan bahwa sementara GPT-4.5 dapat memberikan wawasan umum, itu mungkin tidak seefektif dalam tugas kimia khusus yang kompleks.
2. Analisis dan visualisasi data
- GPT-4.5, seperti model bahasa besar lainnya, perjuangan dengan menyajikan analisis data yang kompleks menghasilkan cara yang jelas dan ringkas, termasuk penggunaan visualisasi, tabel, dan grafik [2]. Keterbatasan ini membuatnya kurang efektif bagi para peneliti yang perlu mengkomunikasikan temuan kompleks secara efektif.- Ini tidak memiliki kemampuan untuk sangat memahami metodologi statistik, mengidentifikasi bias, dan menangani data yang hilang, yang merupakan keterampilan penting dalam analisis data [2].
3. Ulasan literatur dan evaluasi sumber
- GPT-4.5 tidak dapat meneliti sumber akademik secara komprehensif, yang sangat penting untuk melakukan tinjauan literatur menyeluruh. Ini mungkin berjuang untuk membedakan antara sumber-sumber berkualitas tinggi dan kurang dapat diandalkan, berpotensi menyebabkan ketidakakuratan dalam ulasan yang dihasilkan [2].- Ketidakmampuan model untuk memberikan daftar akurat artikel yang dirujuk adalah batasan lain saat menulis makalah ilmiah [6].
4. Sintesis kimia dan prosedur eksperimental
-GPT-4.5, mirip dengan GPT-4, mungkin tidak memberikan prosedur eksperimental yang akurat atau terperinci untuk sintesis kimia karena masalah keamanan dan keterbatasan dalam memahami reaksi kimia yang kompleks [1]. Ini dapat mengusulkan rute sintesis yang salah secara kimiawi atau mekanisme reaksi yang salah paham.- Ketidakmampuan model untuk secara akurat memperkirakan struktur molekul dari nama senyawa dapat menyebabkan penalaran yang salah dalam tugas kimiawi [1].
5. Integrasi dengan alat khusus
- Untuk tugas yang melibatkan reaksi kimia, GPT-4.5 dapat mengambil manfaat dari integrasi dengan perangkat lunak kimia khusus atau bahasa pemrograman untuk meningkatkan kinerjanya [1]. Integrasi ini dapat membantu mengatasi beberapa keterbatasan dalam menangani data dan reaksi kimia yang kompleks.6. Pertimbangan Etis dan Keselamatan
- GPT-4.5, sebagaimana dicatat dalam kartu sistem, menimbulkan risiko sedang dalam penciptaan ancaman kimia dan biologis karena kemampuannya untuk membantu dalam perencanaan operasional untuk ancaman yang diketahui [3]. Namun, risiko ini dikurangi dengan asumsi bahwa pengguna sudah memiliki keahlian domain yang signifikan.Singkatnya, sementara GPT-4.5 menawarkan kemampuan yang menjanjikan dalam penelitian kimia, seperti pengetahuan dasar dan analisis data, ia menghadapi keterbatasan yang signifikan dalam tugas khusus, visualisasi data, tinjauan literatur, dan pertimbangan keselamatan. Efektivitasnya ditingkatkan ketika digunakan bersama dengan alat khusus dan keahlian domain.
Kutipan:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647dbe16ad5c57b6627/original/prompt-engineering-f-gpt-4-for-cemical-- Res--can-can-noc--ne-can--can-can-ne-can-can-can-noc--noc--ne-can-can-noc--cineering
[2] https://www.enago.com/academy/chatgpt-cannot-do-for-ressearchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-are-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365v3