O GPT-4.5, como seu antecessor GPT-4, enfrenta várias limitações na pesquisa química. Essas limitações são cruciais para entender o potencial e os desafios do uso de grandes modelos de linguagem nesse campo.
1. Conhecimento fundamental e tarefas especializadas
-Base de conhecimento: GPT-4.5, semelhante ao GPT-4, tem uma base forte na química no nível de livros didáticos, incluindo princípios de química física e orgânica. No entanto, pode não ter acesso aos artigos de pesquisa mais recentes devido a restrições de direitos autorais e limitações de dados de treinamento [1].- Tarefas especializadas: em tarefas como previsão e retrossíntese de reação, os modelos GPT geralmente têm um desempenho pior do que os modelos especializados de aprendizado de máquina treinados em conjuntos de dados químicos específicos [8]. Isso indica que, embora o GPT-4.5 possa fornecer informações gerais, ele pode não ser tão eficaz em tarefas químicas complexas e especializadas.
2. Análise e visualização de dados
- GPT-4.5, como outros modelos de idiomas grandes, lutas com a apresentação de análises de dados complexas resulta de maneira clara e concisa, incluindo o uso de visualizações, tabelas e gráficos [2]. Essa limitação o torna menos eficaz para pesquisadores que precisam comunicar achados complexos de maneira eficaz.- Falta a capacidade de entender profundamente as metodologias estatísticas, identificar vieses e lidar com dados ausentes, que são habilidades críticas na análise de dados [2].
3. Revisão da literatura e avaliação de origem
- O GPT-4.5 não pode examinar as fontes acadêmicas de forma abrangente, o que é essencial para a realização de revisões completas da literatura. Pode se esforçar para diferenciar fontes de alta qualidade e menos confiáveis, potencialmente levando a imprecisões em revisões geradas [2].- A incapacidade do modelo de fornecer listas precisas de artigos referenciados é outra limitação ao escrever artigos científicos [6].
4. Síntese química e procedimentos experimentais
-GPT-4.5, semelhante ao GPT-4, pode não fornecer procedimentos experimentais precisos ou detalhados para a síntese química devido a preocupações e limitações de segurança na compreensão de reações químicas complexas [1]. Pode propor rotas de síntese quimicamente incorretas ou entender mal os mecanismos de reação.- A incapacidade do modelo de estimar com precisão as estruturas moleculares de nomes de compostos pode levar a um raciocínio incorreto nas tarefas químicas [1].
5. Integração com ferramentas especializadas
- Para tarefas que envolvem reações químicas, o GPT-4.5 pode se beneficiar da integração com software químico especializado ou linguagens de programação para melhorar seu desempenho [1]. Essa integração pode ajudar a superar algumas de suas limitações no manuseio de dados e reações químicas complexas.6. Considerações éticas e de segurança
- GPT-4.5, como observado no cartão do sistema, representa um risco médio na criação de ameaças químicas e biológicas devido à sua capacidade de ajudar no planejamento operacional para ameaças conhecidas [3]. No entanto, esse risco é atenuado pela suposição de que os usuários já possuem experiência significativa no domínio.Em resumo, enquanto o GPT-4.5 oferece recursos promissores em pesquisa química, como conhecimento fundamental e análise de dados, ele enfrenta limitações significativas em tarefas especializadas, visualização de dados, revisão da literatura e considerações de segurança. Sua eficácia é aprimorada quando usada em conjunto com ferramentas especializadas e experiência em domínio.
Citações:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-engineering-of-gpt-4-for-chemical-research-what-can-cannot-be-done.pdf
[2] https://www.enago.com/academy/chatgpt-cannot-do-for-researchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-are-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365v3