09/09/2025 14:13
09/09/2025 14:12
09/09/2025 14:11
09/09/2025 14:04
09/09/2025 13:59
09/09/2025 13:58
09/09/2025 13:58
09/09/2025 13:57
09/09/2025 13:55
09/09/2025 13:55
Buenos Aires » Infobae
Fecha: 09/09/2025 08:41
El informe de OpenAI revela que las alucinaciones en ChatGPT persisten por incentivos en el entrenamiento y evaluación de los modelos El reciente análisis de OpenAI ha puesto en evidencia que el fenómeno de las “alucinaciones” en modelos de lenguaje como ChatGPT persiste debido a incentivos estructurales en los procesos de entrenamiento y evaluación, que favorecen las respuestas especulativas por encima de la admisión de incertidumbre. Esta problemática, según la investigación publicada por la propia compañía y recogida por Newsweek, se mantiene incluso en las versiones más avanzadas, como GPT-5, y afecta de manera directa a la fiabilidad de estos sistemas en ámbitos donde la precisión resulta esencial, como la educación, la salud y la atención al cliente. El término “alucinaciones” se refiere, de acuerdo con la definición interna de OpenAI, a “afirmaciones plausibles pero falsas generadas por modelos de lenguaje”. Estas manifestaciones pueden presentarse incluso ante preguntas aparentemente simples. Un ejemplo citado en el estudio muestra cómo un chatbot fabricó varios títulos para la tesis doctoral de Adam Tauman Kalai -del equipo de OpenAI-, todos incorrectos, y proporcionó tres fechas distintas, igualmente erróneas, para su cumpleaños. Este tipo de errores no se limita a casos anecdóticos, sino que responde a la forma en que los modelos son entrenados y evaluados. Las alucinaciones surgen porque los modelos priorizan la coherencia sobre la veracidad, especialmente en hechos poco frecuentes (Reuters) Durante la fase de preentrenamiento, los modelos de lenguaje aprenden a predecir la siguiente palabra en una secuencia a partir de grandes volúmenes de texto, sin recibir información sobre la veracidad de las afirmaciones. Este enfoque estadístico resulta eficaz para generar lenguaje coherente, pero presenta dificultades notables con hechos de baja frecuencia, como fechas de nacimiento o títulos de publicaciones. OpenAI explica que, a diferencia de errores ortográficos o de sintaxis, que desaparecen con el aumento de datos y capacidad del modelo, los hechos arbitrarios y poco frecuentes no pueden deducirse de patrones y, por tanto, son fuente recurrente de alucinaciones. El sistema de evaluación actual agrava el problema. La mayoría de los tests y métricas priorizan la exactitud, lo que incentiva a los modelos a arriesgar respuestas en lugar de reconocer su desconocimiento. “Si los principales marcadores siguen premiando las suposiciones afortunadas, los modelos seguirán aprendiendo a adivinar”, advierten los investigadores de OpenAI en declaraciones recogidas por Newsweek. El informe descarta que la mejora de la exactitud o el tamaño del modelo eliminen completamente las alucinaciones (Imagen Ilustrativa Infobae) El paralelismo con los exámenes de opción múltiple es ilustrativo: adivinar puede resultar estadísticamente ventajoso frente a dejar una respuesta en blanco, lo que lleva a los modelos a preferir el riesgo de error antes que la abstención. La comparación entre modelos de distintas generaciones revela el alcance del dilema. En una prueba básica, la variante más reciente, GPT-5, mostró una tasa de abstención del 52 % y un 26 % de error, mientras que el modelo anterior, OpenAI o4-mini, apenas se abstuvo en el 1 % de los casos, pero incurrió en un 75 % de errores. Este contraste evidencia que la disposición a reconocer la incertidumbre reduce los errores, aunque penaliza la puntuación bajo los criterios actuales. La investigación de OpenAI sostiene que la solución pasa por rediseñar los sistemas de evaluación para penalizar más severamente los errores seguros y otorgar reconocimiento parcial a las expresiones apropiadas de incertidumbre. “Las alucinaciones persisten en parte porque los métodos de evaluación actuales establecen incentivos equivocados. Aunque las evaluaciones no causan directamente las alucinaciones, la mayoría mide el rendimiento de los modelos de manera que fomenta la suposición en lugar de la honestidad sobre la incertidumbre”, señala el informe de la compañía. El equipo de OpenAI, que incluye a Adam Kalai y Santosh Vempala, subraya que la raíz estadística de las alucinaciones está bien comprendida: la predicción de la siguiente palabra, sin etiquetas de veracidad, favorece la generación de información plausible pero incorrecta, especialmente en hechos poco frecuentes. Aunque los modelos más recientes han reducido la incidencia de estos errores, la compañía reconoce que la eliminación total de las alucinaciones es improbable mientras los sistemas de evaluación sigan recompensando la especulación. Entre las conclusiones del estudio, OpenAI refuta varias creencias extendidas. Por ejemplo, rechaza la idea de que las alucinaciones desaparecerán con la mejora de la exactitud, ya que “la precisión nunca alcanzará el 100 %, porque algunas preguntas del mundo real son intrínsecamente imposibles de responder”. También descarta que evitar las alucinaciones requiera necesariamente modelos más grandes, argumentando que los sistemas pequeños pueden ser más conscientes de sus limitaciones y optar por abstenerse cuando no tienen información suficiente. La compañía ha anunciado que trabaja en la actualización de los criterios de evaluación para que premien la manifestación de incertidumbre y desalienten la tendencia a adivinar. La empresa de Sam Altman concluye que solo una reforma profunda de los sistemas de puntuación permitirá reducir de manera significativa las alucinaciones en los modelos de lenguaje, un paso imprescindible para aumentar la confianza y utilidad de la inteligencia artificial en aplicaciones críticas.
Ver noticia original
Examedia © 2024
Desarrollado por