GPT-4.5, como su predecesor GPT-4, enfrenta varias limitaciones en la investigación química. Estas limitaciones son cruciales para comprender el potencial y los desafíos de usar modelos de idiomas grandes en este campo.
1. Conocimiento fundamental y tareas especializadas
-Base de conocimiento: GPT-4.5, similar a GPT-4, tiene una base sólida en la química a nivel de libro de texto, incluidos los principios de química física y orgánica. Sin embargo, es posible que no tenga acceso a los últimos artículos de investigación debido a restricciones de derechos de autor y limitaciones de datos de capacitación [1].- Tareas especializadas: en tareas como la predicción de reacción y la retrosíntesis, los modelos GPT generalmente funcionan peor que los modelos especializados de aprendizaje automático entrenados en conjuntos de datos químicos específicos [8]. Esto indica que si bien GPT-4.5 puede proporcionar información general, puede no ser tan efectiva en tareas químicas complejas y especializadas.
2. Análisis y visualización de datos
- GPT-4.5, al igual que otros modelos de lenguaje grande, lucha por la presentación del análisis de datos complejos de una manera clara y concisa, incluido el uso de visualizaciones, tablas y gráficos [2]. Esta limitación lo hace menos efectivo para los investigadores que necesitan comunicar hallazgos complejos de manera efectiva.- Carece de la capacidad de comprender profundamente las metodologías estadísticas, identificar sesgos y manejar datos faltantes, que son habilidades críticas en el análisis de datos [2].
3. Revisión de literatura y evaluación de fuente
- GPT-4.5 no puede analizar las fuentes académicas de manera integral, lo cual es esencial para realizar revisiones exhaustivas de literatura. Puede tener dificultades para diferenciar entre fuentes de alta calidad y menos confiables, lo que potencialmente conduce a inexactitudes en las revisiones generadas [2].- La incapacidad del modelo para proporcionar listas precisas de artículos referenciados es otra limitación al escribir artículos científicos [6].
4. Síntesis química y procedimientos experimentales
-GPT-4.5, similar a GPT-4, puede no proporcionar procedimientos experimentales precisos o detallados para la síntesis química debido a preocupaciones de seguridad y limitaciones en la comprensión de las reacciones químicas complejas [1]. Puede proponer rutas de síntesis químicamente incorrectas o malinterpretar los mecanismos de reacción.- La incapacidad del modelo para estimar con precisión las estructuras moleculares a partir de nombres de compuestos puede conducir a un razonamiento incorrecto en tareas químicas [1].
5. Integración con herramientas especializadas
- Para las tareas que involucran reacciones químicas, GPT-4.5 puede beneficiarse de la integración con software químico especializado o lenguajes de programación para mejorar su rendimiento [1]. Esta integración podría ayudar a superar algunas de sus limitaciones en el manejo de datos y reacciones químicas complejas.6. Consideraciones éticas y de seguridad
- GPT-4.5, como se señaló en la tarjeta del sistema, plantea un riesgo medio en la creación de amenazas químicas y biológicas debido a su capacidad para ayudar en la planificación operativa de amenazas conocidas [3]. Sin embargo, este riesgo se ve mitigado por la suposición de que los usuarios ya poseen una experiencia significativa en el dominio.En resumen, mientras que GPT-4.5 ofrece capacidades prometedoras en la investigación química, como el conocimiento fundamental y el análisis de datos, enfrenta limitaciones significativas en tareas especializadas, visualización de datos, revisión de la literatura y consideraciones de seguridad. Su efectividad se mejora cuando se usa junto con herramientas especializadas y experiencia en el dominio.
Citas:
[1] https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-ingineering-of-gpt-4-for--conarch-what-cannot-be-done.pdff
[2] https://www.enago.com/academy/chatgpt-cannot-do-for-researchers-2/
[3] https://cdn.openai.com/gpt-4-5-system-card.pdf
[4] https://community.openai.com/t/what- ona-the-limitations-of-gpt-4-in-analyzing-pdf-text/534760
[5] https://www.tandfonline.com/doi/full/10.1080/27660400.2023.2260300
[6] https://pmc.ncbi.nlm.nih.gov/articles/pmc11184879/
[7] https://www.reddit.com/r/chatgpt/comments/1iznoek/gpt45_system_card_mmlu_896/
[8] https://arxiv.org/html/2305.18365v3