GPT-4.5 incorpora nuevas técnicas de alineación escalables diseñadas para mejorar la colaboración humana al mejorar la comprensión del modelo de las necesidades y la intención humanas. Estas técnicas permiten el entrenamiento de modelos más grandes y más potentes que utilizan datos derivados de modelos más pequeños, lo cual es crucial a medida que los modelos de IA se vuelven cada vez más complejos y resuelven problemas más amplios [1] [3] [7].
Mejoras clave
1. Apedecimiento: las nuevas técnicas de alineación mejoran la dominabilidad de GPT-4.5, lo que permite a los usuarios guiar el modelo de manera más efectiva hacia los resultados deseados. Esto es particularmente importante para las tareas que requieren un control preciso sobre las respuestas del modelo [1] [3].
2. Comprensión de los matices: GPT-4.5 demuestra una mejor comprensión de los matices, lo que le permite manejar aspectos complejos y sutiles de la comunicación humana de manera más efectiva. Esta mejora es vital para las tareas que requieren empatía e inteligencia emocional [1] [3].
3. Conversación natural: la capacidad del modelo para participar en una conversación natural ha mejorado significativamente. Ahora puede responder de manera más intuitiva y empática, haciendo que las interacciones se sientan más humanas. Esto es beneficioso para aplicaciones como el servicio al cliente, el asesoramiento y los proyectos creativos colaborativos [1] [3] [7].
Proceso de entrenamiento
GPT-4.5 se desarrolló utilizando una combinación de métodos tradicionales como ajuste fino supervisado (SFT) y el aprendizaje de refuerzo de la retroalimentación humana (RLHF), similar a los utilizados para GPT-4O. El modelo fue priorizado y se entretenía en diversos conjuntos de datos, incluidos datos disponibles públicamente, datos patentados de asociaciones y conjuntos de datos personalizados desarrollados internamente. Estos diversos datos de capacitación contribuyen a sus sólidas capacidades de conversación y conocimiento del mundo amplio [1] [3].
Inteligencia emocional
El modelo exhibe una inteligencia emocional mejorada, lo que le permite detectar y responder adecuadamente a las señales sociales. Esto hace que las interacciones sean más naturales y empáticas, lo cual es particularmente beneficioso para las aplicaciones que requieren comunicación matizada [7].
En general, las nuevas técnicas de alineación en GPT-4.5 tienen como objetivo crear una herramienta de IA más colaborativa e intuitiva que pueda alinearse mejor con la intención y las necesidades humanas, lo que lo hace adecuado para una amplia gama de aplicaciones.
Citas:
[1] https://cdn.openai.com/gpt-4-5-system-card.pdf
[2] https://arxiv.org/html/2502.13775v1
[3] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-chatgpt-4-5
[4] https://community.openai.com/t/how-to-improve-gpt-4-api-output-lengthing-andestructure/1025132
[5] https://www.lesswrong.com/posts/fqajgqcpmgehkoee6/openai-releases-gpt-4-5
[6] https://proceedings.neurips.cc/paper_files/paper/2024/file/a51a74b2d71387dc71cc29181b5519bb-paper-conference.pdf
[7] https://topmostads.com/openai-release-gpt-4-5/
[8] https://arxiv.org/html/2408.06837v1