OpenAI detectó por qué ChatGPT alucina y propuso una solución
OpenAI ha indagado sobre el origen de ...
OpenAI ha indagado sobre el origen de las alucinaciones en los modelos de lenguaje, un fenómeno que pone en riesgo la fiabilidad de la inteligencia artificial, y su persistencia. Lo vincula con las evaluaciones que incentivan las conjeturas.
Navegando oportunidades: una dosis saludable de realismo sobre la IA
Las alucinaciones son un fenómeno por el que la IA ofrece respuestas que, a pesar de parecer coherentes, incluyen información sesgada o errónea, que no está respaldada por los datos con los que se ha entrenado.
Suponen un problema que afecta a la interacción con los modelos de lenguaje, porque los usuarios pueden creer que la información es correcta y tomar decisiones en base a ella. También son un desafío para las empresas que desarrollan esos modelos, porque no está claro su origen.
OpenAI, sin embargo, asegura que se originan en el preentrenamiento, en el proceso de predicción de la siguiente palabra en grandes cantidades de texto, cuando no existen etiquetas que ayuden a distinguir lo que es válido de lo que es inválido.
Este es el resultado de una investigación que ha compartido recientemente, titulada ‘¿Por qué los modelos de lenguaje alucinan?’, en la que ha indagado también sobre la persistencia de las alucinaciones en los modelos más recientes, que recoge en su blog oficial.
Asegura que “las alucinaciones persisten en parte porque los métodos de evaluación actuales establecen incentivos erróneos”, y para explicarlo, compara su forma de responder con un estudiante enfrentándose a un examen de respuesta múltiple.
“Si no sabés la respuesta, pero intentás adivinar, podrías tener suerte y acertar. Dejarla en blanco garantiza un cero. De la misma manera, cuando los modelos se califican solo por la precisión, el porcentaje de preguntas que responden correctamente, se les anima a adivinar en lugar de decir ‘No lo sé’”.
La pequeña y paradisíaca isla del Caribe a la que una casualidad le está haciendo ganar millones
Ante este descubrimiento, OpenAI propone actualizar las pruebas basadas en la precisión para que también se penalicen las conjeturas, y que los modelos puedan “abstenerse ante la incertidumbre”.
Aun así, la compañía reconoce que no se pueden conseguir modelos de lenguaje que sean precisos al 100%, porque “independientemente del tamaño del modelo y de sus capacidades de búsqueda y razonamiento, algunas preguntas del mundo real son inherentemente incontestables”.