Las IA complacientes como Chat GPT inducen delirios, según un modelo matemático del MIT

Un modelo del MIT explica qué hace que hasta usuarios racionales crean delirios frente a chatbots complacientes, y por qué advertirles no basta.

hace 1 hora
  • Las IA complacientes como Chat GPT inducen delirios, según un modelo matemático del MIT
bookmark

Investigadores del MIT y la Universidad de Washington construyeron un modelo matemático que simula miles de conversaciones entre un usuario racional y un chatbot proclive a darle la razón. El resultado: ni la precisión factual ni las advertencias previas logran frenar la espiral de creencias falsas.

En 2025, un contador llamado Eugene Torres empezó a usar un chatbot de inteligencia artificial para tareas de oficina. Torres no tenía antecedentes de enfermedad mental, pero en pocas semanas de conversación llegó a creer que estaba «atrapado en un universo falso», del que solo podía escapar desconectando su mente de la realidad, según reportó The New York Times. Por consejo del chatbot, aumentó su consumo de ketamina y rompió contacto con su familia. Torres sobrevivió al episodio; otros casos documentados por el mismo diario y por CNN, entre ellos el de Allan Brooks, quien llegó a creer que había hecho un descubrimiento matemático fundamental tras semanas de charla con un chatbot, muestran un patrón similar.

Un estudio publicado en febrero por investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL), la Universidad de Washington y el Departamento de Cerebro y Ciencias Cognitivas del MIT intentó explicar matemáticamente por qué ocurre esto. El trabajo, todavía sin revisión por pares y disponible como preimpresión en el repositorio arXiv, se titula «Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians» («Los chatbots complacientes causan espirales delirantes, incluso en bayesianos ideales»).

¿Qué es la «espiral delirante» que describe el estudio del MIT?

Los autores —Kartik Chandra y Jonathan Ragan-Kelley, del MIT; Max Kleiman-Weiner, de la Universidad de Washington, y Joshua Tenenbaum, también del MIT— llaman «espiral delirante» al proceso por el cual la confianza de un usuario en una creencia falsa aumenta de forma sostenida a lo largo de una conversación, hasta el punto de que podría actuar con base en ella. El fenómeno, señalan, suele atribuirse a la «complacencia» (sycophancy) de los chatbots: su tendencia bien documentada a validar lo que dice el usuario en lugar de corregirlo.

¿Cómo simularon los investigadores miles de conversaciones entre un usuario y un chatbot?

Para probar si existe una relación causal entre complacencia y delirio, el equipo construyó un modelo bayesiano: una representación matemática de cómo debería actualizar sus creencias una persona perfectamente racional a medida que recibe información nueva. En el modelo, un usuario tiene una duda sobre un hecho binario del mundo —los investigadores ponen como ejemplo si las vacunas son o no seguras— y comparte su opinión inicial con un chatbot. El chatbot, a su vez, elige qué información mencionarle: puede responder de forma «imparcial», escogiendo un dato al azar entre los disponibles, o de forma «complaciente», seleccionando deliberadamente el dato que más refuerce lo que el usuario acaba de decir, sea o no cierto. El usuario actualiza su confianza en el hecho según la respuesta recibida, y el ciclo se repite.

Los investigadores corrieron 10.000 conversaciones simuladas de 100 rondas cada una para distintos niveles de complacencia del chatbot, desde cero hasta el cien por ciento, usando una unidad de procesamiento gráfico (GPU) para el cálculo. Definieron una «espiral delirante catastrófica» como el momento en que el usuario simulado alcanza una confianza del 99 % o más en la creencia falsa dentro de esas 100 rondas.

¿Qué encontraron cuando aumentaron el nivel de complacencia del chatbot?

Con un chatbot completamente imparcial, la probabilidad de que el usuario cayera en una espiral delirante fue casi nula. Pero bastó con que el chatbot respondiera de forma complaciente el 10 % de las veces para que esa probabilidad aumentara de forma significativa frente a la línea base, según el estudio. Cuanta más complacencia programaron los investigadores, mayor fue la tasa de espirales catastróficas, hasta llegar al 50 % de los usuarios simulados cuando el chatbot fue completamente complaciente.

¿Por qué no basta con que el chatbot diga solo la verdad?

Una de las soluciones que se discuten hoy en la industria es exigirles a los chatbots que basen sus respuestas en fuentes verificables, por ejemplo mediante técnicas de recuperación de información (RAG, por su sigla en inglés), para evitar que inventen datos. Los investigadores probaron esa hipótesis con una versión de su modelo que solo podía citar información verdadera, aunque conservaba la libertad de elegir cuál mencionar. El resultado: la tasa de espirales delirantes bajó, pero no desapareció. Según el estudio, incluso con un chatbot estrictamente factual, un nivel de complacencia tan bajo como el 10 % siguió produciendo un aumento significativo de espirales catastróficas. Los autores explican que el chatbot no necesita mentir para validar una creencia falsa: le basta con mencionar sistemáticamente los datos verdaderos que la respaldan y omitir los que la contradicen.

¿Ayuda advertir a los usuarios que el chatbot puede ser complaciente?

Los investigadores probaron también un segundo tipo de intervención: en lugar de modificar el chatbot, le dieron al usuario simulado conocimiento previo de que el chatbot podría ser complaciente, similar a lo que buscaría una campaña de alfabetización mediática o una advertencia obligatoria en un producto de IA. Ese usuario «informado» resultó más resistente que el usuario que no sospechaba nada, pero tampoco quedó a salvo: para niveles de complacencia de entre el 10 % y el 50 %, la tasa de espirales catastróficas siguió siendo significativamente más alta que la línea base, incluso cuando el chatbot solo citaba información verdadera. El estudio compara este resultado con el fenómeno económico conocido como «persuasión bayesiana»: un fiscal estratégico puede elevar la tasa de condenas de un juez incluso si el juez conoce perfectamente la estrategia del fiscal.

¿Qué muestran los casos documentados fuera del modelo matemático?

El fenómeno que el estudio intenta formalizar ya tiene un historial de casos reportados por periodistas y clínicos. El psiquiatra Keith Sakata, de la Universidad de California en San Francisco, dijo haber hospitalizado a doce pacientes con síntomas similares a la psicosis tras un uso intensivo de chatbots. Investigadores de la misma universidad documentaron el caso de una mujer de 26 años, sin antecedentes psiquiátricos, que desarrolló la creencia de que podía comunicarse con su hermano fallecido a través de un chatbot. En octubre de 2025, según reportes de prensa, un ejecutivo de Florida de 36 años murió por suicidio tras una serie prolongada de conversaciones con el chatbot Gemini, de Google. La familia de Adam Raine, un adolescente de 16 años que murió por suicidio en abril de 2025, presentó una demanda contra OpenAI en la que alega —sin que un tribunal lo haya determinado todavía— que la empresa lanzó un producto «diseñado intencionadamente para fomentar la dependencia psicológica».

La propia OpenAI ha reconocido la magnitud del problema, aunque en cifras que la empresa describe como bajas: según estimaciones divulgadas por la compañía, un 0,07 % de sus usuarios semanales muestra señales de psicosis o manía en un momento dado, y un 0,15 % expresa indicios de planificación o intención suicida en sus conversaciones. El propio director ejecutivo de OpenAI, Sam Altman, ha señalado que aun un porcentaje mínimo representa una cifra alta en términos absolutos: «el 0,1 % de mil millones de usuarios sigue siendo un millón de personas», escribió en una publicación citada por los propios autores del estudio del MIT.

¿Qué recomiendan los investigadores?

El estudio cierra con tres conclusiones. La primera es que la espiral delirante no debería entenderse como un síntoma de pereza intelectual o de falta de vigilancia crítica por parte del usuario: incluso un razonador bayesiano ideal, un límite teórico superior de racionalidad humana, resulta vulnerable. La segunda es que reducir las alucinaciones de un chatbot —es decir, evitar que invente datos— no resuelve el problema, porque la causa de fondo es la complacencia, y esta debe atacarse de forma directa. La tercera es que las campañas de advertencia a los usuarios pueden reducir la frecuencia del fenómeno, pero es improbable que lo eliminen por completo.

Los propios autores advierten sobre los límites de su trabajo: el modelo estudia únicamente cómo se forman las creencias frente a una pregunta binaria, y no abarca otros síntomas asociados a lo que hoy se conoce como «psicosis por IA», como el tiempo excesivo dedicado al chatbot o el aislamiento de los círculos sociales cercanos.

Más generación