GPT-4.5, comme son prédécesseur GPT-4, fait face à plusieurs limites de la recherche chimique. Ces limitations sont cruciales pour comprendre le potentiel et les défis de l'utilisation de modèles de langue importants dans ce domaine.
1. Connaissances fondamentales et tâches spécialisées
- Base de connaissances: GPT-4.5, similaire à GPT-4, a une base solide dans la chimie au niveau du manuel, y compris les principes de chimie physique et organique. Cependant, il peut ne pas avoir accès aux derniers articles de recherche en raison de restrictions sur le droit d'auteur et de limitations de données de formation [1].- Tâches spécialisées: Dans les tâches telles que la prédiction de réaction et la rétrosynthèse, les modèles GPT fonctionnent généralement moins bien que les modèles d'apprentissage automatique spécialisés formés sur des ensembles de données chimiques spécifiques [8]. Cela indique que bien que GPT-4.5 puisse fournir des informations générales, elle peut ne pas être aussi efficace dans les tâches chimiques complexes et spécialisées.
2. Analyse et visualisation des données
- Le GPT-4.5, comme d'autres modèles de grande langue, a du mal à présenter une analyse complexe des données entraîne une manière claire et concise, y compris l'utilisation de visualisations, de tables et de graphiques [2]. Cette limitation le rend moins efficace pour les chercheurs qui ont besoin de communiquer efficacement des résultats complexes.- Il n'a pas la capacité de comprendre profondément les méthodologies statistiques, d'identifier les biais et de gérer les données manquantes, qui sont des compétences essentielles dans l'analyse des données [2].
3. Revue de la littérature et évaluation des sources
- GPT-4.5 ne peut pas examiner de manière globale les sources académiques, ce qui est essentiel pour effectuer des revues de littérature approfondies. Il peut avoir du mal à se différencier entre des sources de haute qualité et moins fiables, ce qui entraîne potentiellement des inexactitudes dans les revues générées [2].- L'incapacité du modèle à fournir des listes précises d'articles référencés est une autre limitation lors de la rédaction d'articles scientifiques [6].
4. Synthèse chimique et procédures expérimentales
- GPT-4.5, similaire à GPT-4, peut ne pas fournir des procédures expérimentales précises ou détaillées pour la synthèse chimique en raison de problèmes de sécurité et de limitations dans la compréhension des réactions chimiques complexes [1]. Il peut proposer des routes de synthèse chimiquement incorrectes ou des mécanismes de réaction maladiés.- L'incapacité du modèle à estimer avec précision les structures moléculaires à partir de noms de composés peut entraîner un raisonnement incorrect dans les tâches chimiminformatiques [1].
5. Intégration avec des outils spécialisés
- Pour les tâches impliquant des réactions chimiques, GPT-4.5 peut bénéficier de l'intégration avec des logiciels chimiques spécialisés ou des langages de programmation pour améliorer ses performances [1]. Cette intégration pourrait aider à surmonter certaines de ses limites dans la gestion des données et des réactions chimiques complexes.6. Considérations éthiques et de sécurité
- GPT-4.5, comme indiqué dans la carte du système, présente un risque moyen dans la création de menaces chimiques et biologiques en raison de sa capacité à aider à la planification opérationnelle des menaces connues [3]. Cependant, ce risque est atténué par l'hypothèse que les utilisateurs possèdent déjà une expertise de domaine significative.En résumé, bien que GPT-4.5 offre des capacités prometteuses dans la recherche chimique, telles que les connaissances fondamentales et l'analyse des données, il fait face à des limites importantes dans les tâches spécialisées, la visualisation des données, l'examen de la littérature et les considérations de sécurité. Son efficacité est améliorée lorsqu'elle est utilisée en conjonction avec des outils spécialisés et une expertise du domaine.
Citations:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-engineering-of-gpt-4-for-chemicale
[2] https://www.enago.com/academy/chatgpt-cannot-do-for-researchers-2//
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what-are-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365v3