GPT-4.5, как и его предшественник GPT-4, сталкивается с несколькими ограничениями в химических исследованиях. Эти ограничения имеют решающее значение для понимания потенциала и проблем использования крупных языковых моделей в этой области.
1. Фондовые знания и специализированные задачи
-База знаний: GPT-4.5, похожий на GPT-4, имеет прочную основу в химии на уровне учебников, включая принципы физической и органической химии. Тем не менее, он может не иметь доступа к последним исследовательским статьям из -за ограничений авторских прав и ограничений данных обучения [1].- Специализированные задачи: в таких задачах, как прогноз реакции и ретросинтез, модели GPT обычно работают хуже, чем модели специализированного машинного обучения, обученные конкретным наборам химических данных [8]. Это указывает на то, что, хотя GPT-4.5 может предоставить общую информацию, он может быть не так эффективен в сложных, специализированных химических задачах.
2. Анализ и визуализация данных
- GPT-4.5, как и другие крупные языковые модели, борьба с представлением сложного анализа данных приводит к четкому и краткому образом, включая использование визуализаций, таблиц и графиков [2]. Это ограничение делает его менее эффективным для исследователей, которым необходимо эффективно передавать сложные результаты.- У него не хватает возможности глубоко понимать статистические методологии, выявлять смещения и обрабатывать недостающие данные, которые являются критическими навыками в анализе данных [2].
3. Обзор литературы и оценка источника
- GPT-4.5 не может тщательно изучить академические источники, что важно для проведения тщательных обзоров литературы. Это может изо всех сил пытаться различить высококачественные и менее надежные источники, потенциально приводящие к неточностям в генерируемых обзорах [2].- Неспособность модели предоставить точные списки ссылки на ссылки является еще одним ограничением при написании научных работ [6].
4. Химический синтез и экспериментальные процедуры
-GPT-4.5, аналогичный GPT-4, может не предоставлять точные или подробные экспериментальные процедуры для химического синтеза из-за проблем безопасности и ограничений в понимании сложных химических реакций [1]. Он может предложить химически неверные маршруты синтеза или неправильно понимать механизмы реакции.- Неспособность модели точно оценить молекулярные структуры из составных названий может привести к неправильным рассуждениям в задачах химиноформатики [1].
5. Интеграция со специализированными инструментами
- Для задач, связанных с химическими реакциями, GPT-4.5 может извлечь выгоду из интеграции со специализированным химическим программным обеспечением или языками программирования для повышения его производительности [1]. Эта интеграция может помочь преодолеть некоторые его ограничения при обработке сложных химических данных и реакций.6. Этические и безопасные соображения
- GPT-4.5, как отмечено в системной карте, представляет средний риск в создании химической и биологической угрозы из-за его способности помочь в оперативном планировании для известных угроз [3]. Тем не менее, этот риск смягчается предположением, что пользователи уже обладают значительным доменным опытом.Таким образом, в то время как GPT-4.5 предлагает многообещающие возможности в химических исследованиях, таких как основополагающие знания и анализ данных, он сталкивается с значительными ограничениями в специализированных задачах, визуализации данных, обзоре литературы и соображениях безопасности. Его эффективность повышается при использовании в сочетании со специализированными инструментами и опытом домена.
Цитаты:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-engineering-of-4-for-chemical-research-what-can-cannot-be-engineering-of-4-gmical-research-what-cannot-be-engineering-of-4-for-chemical-research-what-cannot-gpt-engineering-of-4-gemical-research-what-cannot-gpt-done.
[2] https://www.enago.com/academy/chatgpt-cannot-do-for-researchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-are-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365v3