Un reciente análisis de OpenAI ha puesto de manifiesto que el fenómeno de las "alucinaciones" en sus modelos de lenguaje, como ChatGPT, persiste debido a incentivos estructurales durante el entrenamiento y evaluación, privilegiando respuestas especulativas sobre la admisión de desconocimiento. Según el estudio, recogido por Newsweek, este problema permanece incluso en versiones avanzadas como GPT-5, afectando directamente su fiabilidad en contextos críticos como la educación, la salud y la atención al cliente.

Las "alucinaciones", definidas por OpenAI como afirmaciones plausibles pero incorrectas, pueden surgir incluso ante preguntas simples. Un ejemplo citado muestra cómo un chatbot inventó títulos de tesis para Adam Tauman Kalai, del equipo de OpenAI, con fechas de nacimiento incorrectas. Estos errores no son meramente anecdóticos, ya que apuntan a una estructura de entrenamiento donde la coherencia prevalece sobre la veracidad, particularmente respecto a hechos poco frecuentes como fechas exactas o títulos específicos.

El informe destaca que el sistema actual de evaluación empeora el problema. La mayoría de las pruebas y métricas priorizan la supuesta exactitud, incentivando a los modelos a adivinar en lugar de admitir su desconocimiento. La investigación sugiere que, si las evaluaciones recompensan suposiciones, los modelos seguirán aprendiendo a adivinar. Comparaciones entre modelos indican que, aunque los más recientes como GPT-5 muestran mejores índices de abstención, aún persisten errores significativos.

OpenAI aboga por rediseñar los sistemas de evaluación para penalizar seriamente los errores seguros y reconocer la expresión adecuada de incertidumbre. La raíz de las alucinaciones está en el enfoque estadístico de predicción de la siguiente palabra, como indica el equipo, que incluye a Adam Kalai y Santosh Vempala. Aunque la incidencia de estos errores ha disminuido en modelos más recientes, la compañía reconoce que la eliminación total es improbable bajo la actual metodología de evaluación, que fomenta más conjetura que la honestidad en situaciones de incertidumbre.

En conclusión, OpenAI sostiene que los modelos actuales nunca alcanzarán una precisión del 100% ya que ciertas preguntas son intrínsecamente imposibles de responder. Además, considera que modelos más pequeños pueden ser más conscientes de sus limitaciones y optar por abstenerse cuando carecen de suficiente información. La empresa trabaja en actualizar criterios de evaluación que premien la manifestación de incertidumbre, buscando reducir las alucinaciones significativamente y aumentar la confiabilidad en aplicaciones de inteligencia artificial.