GPT-4.5, як і його попередник GPT-4, стикається з кількома обмеженнями в хімічних дослідженнях. Ці обмеження мають вирішальне значення для розуміння потенціалу та проблем використання великих мовних моделей у цій галузі.
1. Основи знання та спеціалізовані завдання
-База знань: GPT-4.5, подібно до GPT-4, має міцну основу в хімії на рівні підручника, включаючи принципи фізичної та органічної хімії. Однак він може не мати доступу до останніх дослідницьких статей через обмеження авторських прав та обмеження даних про навчання [1].- Спеціалізовані завдання: У таких завданнях, як прогнозування реакцій та ретросинтез, моделі GPT, як правило, гірше, ніж спеціалізовані моделі машинного навчання, навчені на конкретних хімічних наборах даних [8]. Це вказує на те, що, хоча GPT-4.5 може забезпечити загальну інформацію, він може бути не настільки ефективним у складних, спеціалізованих хімічних завдань.
2. Аналіз даних та візуалізація
- GPT-4.5, як і інші великі мовні моделі, боротьба з представленням складного аналізу даних призводить до чіткого та стислого способу, включаючи використання візуалізацій, таблиць та графіків [2]. Це обмеження робить його менш ефективним для дослідників, яким потрібно ефективно спілкуватися з складними висновками.- йому не вистачає здатності глибоко розуміти статистичні методології, визначати упередження та обробляти відсутні дані, які є критичними навичками в аналізі даних [2].
3. Огляд літератури та оцінка джерел
- GPT-4.5 не може всебічно вивчити академічні джерела, що є важливим для проведення ретельних оглядів літератури. Це може боротися за розмежування високоякісних та менш надійних джерел, що потенційно призводить до неточностей у створених оглядах [2].- Нездатність моделі надати точні списки посилань на статті - це ще одне обмеження при написанні наукових праць [6].
4. Хімічний синтез та експериментальні процедури
-GPT-4.5, подібно до GPT-4, може не забезпечити точні або детальні експериментальні процедури хімічного синтезу через проблеми безпеки та обмеження в розумінні складних хімічних реакцій [1]. Він може запропонувати хімічно некоректні маршрути синтезу або механізми реакцій неправильно.- Неможливість моделі точно оцінити молекулярні структури від сполучних назв може призвести до неправильних міркувань у завданнях з хіміінформатики [1].
5. Інтеграція зі спеціалізованими інструментами
- Для завдань, що стосуються хімічних реакцій, GPT-4.5 може отримати користь від інтеграції за допомогою спеціалізованого хімічного програмного забезпечення або мов програмування для підвищення його продуктивності [1]. Ця інтеграція може допомогти подолати деякі обмеження в обробці складних хімічних даних та реакцій.6. Етичні та безпечні міркування
- GPT-4.5, як зазначається в системній картці, становить середній ризик у створенні хімічної та біологічної загрози завдяки його здатності допомагати в оперативному плануванні відомими загрозами [3]. Однак цей ризик пом'якшується припущенням, що користувачі вже мають значну експертизу домену.Підсумовуючи це, хоча GPT-4.5 пропонує перспективні можливості в хімічних дослідженнях, таких як основоположні знання та аналіз даних, він стикається з значними обмеженнями у спеціалізованих завданнях, візуалізації даних, огляду літератури та міркувань безпеки. Його ефективність підвищується при використанні разом із спеціалізованими інструментами та доменним досвідом.
Цитати:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-engineering-yno-pgpt-4-for-chemic-research-what-scannot--gpt-4-fer-chemic-research-what-scannot-be.p-4-forcemic
[2] https://www.enago.com/academy/chatgpt-cannot-do-for-researchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-are-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365v3