15/09/2025 20:05
15/09/2025 20:05
15/09/2025 20:03
15/09/2025 20:03
15/09/2025 20:03
15/09/2025 20:02
15/09/2025 20:02
15/09/2025 20:02
15/09/2025 20:01
15/09/2025 20:01
» Santafeactual
Fecha: 15/09/2025 17:40
Un informe advierte que los sistemas de evaluación actuales incentivan respuestas inventadas antes que la admisión honesta de incertidumbre. La compañía propone rediseñar las métricas para reducir errores de confianza excesiva y avanzar hacia modelos más fiables. La persistencia de las “alucinaciones” en los modelos de lenguaje fue identificada como uno de los principales obstáculos para la fiabilidad de la inteligencia artificial, según un análisis de OpenAI recogido por Futurism. El informe sostiene que la raíz del problema no se limita a la complejidad técnica de los sistemas, sino a la propia estructura de su entrenamiento y evaluación. El término “alucinación” en IA se refiere a la generación de afirmaciones plausibles pero incorrectas. De acuerdo con el estudio, este fenómeno “no es un mero accidente, sino una consecuencia directa de los métodos de entrenamiento y de los criterios de evaluación predominantes en la industria”. Los investigadores explican que los modelos son optimizados para “ser buenos en los exámenes”. Esto significa que, ante una pregunta cuya respuesta desconocen, tienden a adivinar en lugar de reconocer su ignorancia. El problema surge porque los sistemas de puntuación binaria premian la precisión aparente y penalizan tanto los errores como las abstenciones, sin distinguir entre una respuesta equivocada y una expresión honesta de incertidumbre. El análisis estadístico de OpenAI advierte que incluso con datos de entrenamiento impecables, los objetivos de optimización generan errores inevitables. En hechos poco frecuentes, como fechas de nacimiento únicas, la probabilidad de una respuesta inventada puede ser igual al porcentaje de casos únicos en el corpus. “Si el 20% de los hechos sobre cumpleaños aparece solo una vez en los datos de entrenamiento, se espera que los modelos base alucinen al menos en el 20% de esos casos”, señala el informe. El estudio distingue entre alucinaciones intrínsecas —que contradicen la propia consigna del usuario— y extrínsecas, que se oponen a la realidad. También identifica factores adicionales como la dificultad computacional, el desajuste entre datos de prueba y entrenamiento y la presencia de información errónea en los corpus (“garbage in, garbage out”). El proceso de postentrenamiento tampoco elimina el problema porque “la mayoría de los marcadores priorizan y clasifican los modelos en función de la precisión, pero los errores son peores que las abstenciones”, advierte OpenAI. Esto incentiva a los sistemas a arriesgarse con respuestas inventadas, ya que la duda recibe siempre la peor calificación. Como solución, la compañía propone rediseñar las métricas de evaluación: penalizar más las respuestas incorrectas dadas con exceso de confianza y otorgar crédito parcial a las expresiones de incertidumbre. “Las modificaciones simples de las evaluaciones convencionales pueden realinear los incentivos, recompensando las expresiones adecuadas de incertidumbre en lugar de penalizarlas”, concluyen los investigadores. Sin embargo, la implementación enfrenta desafíos. Benchmarks influyentes como MMLU-Pro, GPQA, SWE-bench y HLE no contemplan el “no lo sé” y siguen premiando las conjeturas afortunadas. Incluso en pruebas como WildBench, las respuestas que admiten desconocimiento suelen ser peor puntuadas que las incorrectas pero plausibles. “Si los principales marcadores siguen premiando las conjeturas afortunadas, los modelos seguirán aprendiendo a adivinar”, alerta la compañía. El informe concluye que solo una revisión profunda de los criterios de evaluación permitirá avanzar hacia sistemas verdaderamente fiables. “Las alucinaciones siguen siendo un desafío fundamental para todos los grandes modelos de lenguaje, pero estamos trabajando arduamente para reducirlas aún más”, asegura OpenAI en su comunicación oficial. Fuente: INFOBAE
Ver noticia original
Examedia © 2024
Desarrollado por