El secreto de las alucinaciones de la IA

Las inteligencias artificiales, a pesar de sus avances, a veces "alucinan": inventan información o dan respuestas incorrectas con una sorprendente seguridad. OpenAI, en un reciente informe, ha investigado este fenómeno, revelando un hallazgo crucial: las IA prefieren "adivinar" antes que admitir su desconocimiento.

¿Por qué las IA inventan?

El problema radica en los métodos de entrenamiento. Se premia la precisión de las respuestas, incentivando a la IA a generar respuestas, aunque sean incorrectas, en lugar de simplemente indicar "no lo sé". Esto se compara con un estudiante que responde al azar en un examen, esperando acertar por casualidad.

El papel de las probabilidades

Durante el pre-entrenamiento, las IA aprenden a predecir la siguiente palabra en una frase. Sin embargo, este proceso, basado en estadísticas, puede llevar a errores, incluso si los datos originales son correctos. La complejidad de generar un texto coherente es mayor que la de responder un simple sí o no.

El método "Is-It-Valid"

OpenAI propone una solución: la clasificación binaria "Is-It-Valid" (IIV). Esta técnica entrena a la IA a distinguir entre respuestas válidas e incorrectas. GPT-5, el último modelo de OpenAI, muestra una mejora en la reducción de alucinaciones gracias a la implementación de esta estrategia.

¿Qué hace diferente a GPT-5?

GPT-5 se abstiene de responder con mayor frecuencia (52%) que otros modelos como o4-mini (1%), indicando una mayor "humildad". Si bien o4-mini tiene una ligera ventaja en respuestas correctas, su tasa de errores es significativamente mayor.

El problema de los benchmarks

Los benchmarks actuales se enfocan en la precisión, ignorando la tasa de alucinaciones. Esto crea una presión para que las IA acierten, incluso a costa de inventar información.

Penalizar el error

Similar a un examen donde contestar incorrectamente resta puntos, penalizar los errores en lugar de la incertidumbre podría desincentivar las alucinaciones. En lugar de recompensar las respuestas correctas, esta nueva técnica premia la certeza y castiga las afirmaciones incorrectas.

Conclusión

OpenAI ha dado un paso significativo en la comprensión de las alucinaciones en IA. La introducción del método IIV y la consideración de la incertidumbre podrían conducir a modelos de IA más precisos y confiables en el futuro.

Fuente: Xataka