¿Tejiendo o deformando la realidad? La trampa de la personalización en los sistemas de IA

La IA representa la mayor descarga cognitiva en la historia de la humanidad . Antes, delegábamos la memoria a la escritura, la aritmética a las calculadoras y la navegación al GPS. Ahora estamos empezando a delegar el juicio, la síntesis e incluso la construcción de significados a sistemas que hablan nuestro idioma, aprenden nuestros hábitos y adaptan nuestras verdades.

Los sistemas de IA son cada vez más hábiles para reconocer nuestras preferencias, nuestros sesgos e incluso nuestros deslices. Como sirvientes atentos en un caso o manipuladores sutiles en otro, adaptan sus respuestas para complacer, persuadir, ayudar o simplemente captar nuestra atención.

Aunque los efectos inmediatos puedan parecer benignos, en esta silenciosa e invisible sintonía se esconde un cambio profundo: la versión de la realidad que cada uno recibe se vuelve cada vez más singular. Mediante este proceso, con el tiempo, cada persona se convierte cada vez más en su propia isla. Esta divergencia podría amenazar la coherencia y la estabilidad de la propia sociedad, erosionando nuestra capacidad para consensuar hechos básicos o afrontar desafíos compartidos.

La personalización de la IA no solo satisface nuestras necesidades, sino que empieza a transformarlas. El resultado de esta transformación es una especie de deriva epistémica. Cada persona empieza a alejarse, poco a poco, del terreno común del conocimiento, las historias y los hechos compartidos, para adentrarse en su propia realidad.

No se trata simplemente de diferentes canales de noticias. Se trata de la lenta divergencia de las realidades morales, políticas e interpersonales. De esta manera, podríamos estar presenciando la desintegración del entendimiento colectivo. Es una consecuencia imprevista, pero profundamente significativa precisamente por ser imprevista. Pero esta fragmentación, aunque ahora acelerada por la IA, comenzó mucho antes de que los algoritmos moldearan nuestros canales.

Esta desintegración no comenzó con la IA. Como reflexionó David Brooks en The Atlantic , basándose en la obra del filósofo Alasdair MacIntyre, nuestra sociedad se ha ido alejando de los marcos morales y epistémicos compartidos durante siglos. Desde la Ilustración, hemos sustituido gradualmente los roles heredados, las narrativas comunitarias y las tradiciones éticas compartidas por la autonomía individual y las preferencias personales.

Lo que comenzó como una liberación de sistemas de creencias impuestos ha erosionado, con el tiempo, las mismas estructuras que antaño nos aferraban a un propósito común y a un significado personal. La IA no creó esta fragmentación. Pero le está dando una nueva forma y velocidad, personalizando no solo lo que vemos, sino también cómo lo interpretamos y creemos.

No es diferente a la historia bíblica de Babel. Una humanidad unificada compartió una sola lengua, solo para fracturarse, confundirse y dispersarse por un acto que hizo casi imposible el entendimiento mutuo. Hoy, no estamos construyendo una torre de piedra. Estamos construyendo una torre del lenguaje mismo. Una vez más, corremos el riesgo de caer.

Al principio, la personalización era una forma de mejorar la fidelización de los usuarios, manteniendo su interés durante más tiempo, regresando con más frecuencia e interactuando más profundamente con un sitio o servicio. Los motores de recomendación, los anuncios personalizados y los feeds seleccionados se diseñaron para captar nuestra atención un poco más, quizás para entretenernos, pero a menudo para motivarnos a comprar un producto. Pero con el tiempo, el objetivo se ha ampliado. La personalización ya no se trata solo de lo que nos retiene. Es lo que sabe de cada uno de nosotros, el gráfico dinámico de nuestras preferencias, creencias y comportamientos que se refina con cada interacción.

Los sistemas de IA actuales no se limitan a predecir nuestras preferencias. Buscan crear un vínculo mediante interacciones y respuestas altamente personalizadas, creando la sensación de que el sistema de IA comprende al usuario, se preocupa por él y apoya su singularidad. El tono de un chatbot, el ritmo de una respuesta y la carga emocional de una sugerencia están calibrados no solo para la eficiencia, sino también para la resonancia, lo que apunta hacia una era tecnológica más útil. No debería sorprender que algunas personas incluso se hayan enamorado y casado con sus bots .

La máquina se adapta no solo a lo que seleccionamos, sino también a nuestra apariencia. Nos refleja de forma íntima, incluso empática. Un artículo de investigación reciente citado en Nature se refiere a esto como «alineación socioafectiva», el proceso mediante el cual un sistema de IA participa en un ecosistema social y psicológico cocreado, donde las preferencias y percepciones evolucionan mediante la influencia mutua.

Este no es un desarrollo neutral. Cuando cada interacción se centra en halagar o afirmar, cuando los sistemas nos reflejan demasiado bien, difuminan la línea entre lo que resuena y lo que es real. No solo permanecemos más tiempo en la plataforma; estamos forjando una relación. Nos fusionamos lenta y quizás inexorablemente con una versión de la realidad mediada por IA, una versión cada vez más moldeada por decisiones invisibles sobre lo que se supone que debemos creer, desear o confiar.

Este proceso no es ciencia ficción; su arquitectura se basa en la atención, el aprendizaje por refuerzo con retroalimentación humana (RLHF) y los motores de personalización. Además, está ocurriendo sin que muchos de nosotros —probablemente la mayoría— lo sepamos. En el proceso, ganamos "amigos" de la IA, pero ¿a qué precio? ¿Qué perdemos, especialmente en términos de libre albedrío y agencia?

La autora y comentarista financiera Kyla Scanlon habló en el podcast de Ezra Klein sobre cómo la fluidez del mundo digital puede ir en detrimento del significado. En sus palabras: «Cuando las cosas son demasiado fáciles, es difícil encontrarles sentido… Si puedes relajarte, ver una pantalla en tu sillita y pedir batidos a domicilio, es difícil encontrarle sentido a ese estilo de vida de WALL-E porque todo es demasiado simple».

A medida que los sistemas de IA nos responden con mayor fluidez, también avanzan hacia una mayor selectividad. Dos usuarios que hagan la misma pregunta hoy podrían recibir respuestas similares, diferenciadas principalmente por la naturaleza probabilística de la IA generativa. Sin embargo, esto es solo el comienzo. Los sistemas de IA emergentes están diseñados explícitamente para adaptar sus respuestas a patrones individuales, adaptando gradualmente las respuestas, el tono e incluso las conclusiones para que tengan mayor impacto en cada usuario.

La personalización no es intrínsecamente manipuladora. Pero se vuelve arriesgada cuando es invisible, irresponsable o está diseñada más para persuadir que para informar. En tales casos, no solo refleja quiénes somos, sino que determina cómo interpretamos el mundo que nos rodea.

Como señala el Centro de Investigación sobre Modelos Fundacionales de Stanford en su índice de transparencia de 2024, pocos modelos líderes revelan si sus resultados varían según la identidad, el historial o la demografía del usuario, aunque el andamiaje técnico para dicha personalización está cada vez más consolidado y apenas comienza a examinarse. Si bien aún no se ha aprovechado plenamente en las plataformas públicas, este potencial para moldear las respuestas basándose en perfiles de usuario inferidos, lo que resulta en mundos informativos cada vez más personalizados, representa un cambio profundo que ya está siendo prototipado y promovido activamente por empresas líderes.

Esta personalización puede ser beneficiosa, y sin duda esa es la esperanza de quienes desarrollan estos sistemas. La tutoría personalizada es prometedora para ayudar a los estudiantes a progresar a su propio ritmo. Las aplicaciones de salud mental adaptan cada vez más las respuestas para satisfacer las necesidades individuales, y las herramientas de accesibilidad ajustan el contenido para satisfacer diversas diferencias cognitivas y sensoriales. Estos son avances reales.

Pero si métodos adaptativos similares se generalizan en las plataformas de información, entretenimiento y comunicación, se avecina un cambio más profundo y preocupante: una transformación de la comprensión compartida hacia realidades individuales y personalizadas. Cuando la verdad misma empieza a adaptarse al observador, se vuelve frágil y cada vez más fungible. En lugar de desacuerdos basados principalmente en diferentes valores o interpretaciones, pronto podríamos encontrarnos luchando simplemente por habitar el mismo mundo factual.

Por supuesto, la verdad siempre ha estado mediada. En épocas anteriores, pasaba por manos del clero, académicos, editores y presentadores de noticias vespertinas, quienes servían como guardianes, moldeando la comprensión pública a través de lentes institucionales. Estas figuras ciertamente no estaban exentas de sesgos o agendas, pero operaban dentro de marcos ampliamente compartidos.

El paradigma emergente actual promete algo cualitativamente diferente: verdad mediada por IA mediante inferencia personalizada que enmarca, filtra y presenta la información, moldeando lo que los usuarios llegan a creer. Pero a diferencia de los mediadores del pasado que, a pesar de sus defectos, operaban en instituciones públicamente visibles, estos nuevos árbitros son opacos desde el punto de vista comercial, no elegidos y en constante adaptación, a menudo sin revelar nada. Sus sesgos no son doctrinales, sino que se codifican a través de datos de entrenamiento, arquitectura e incentivos para desarrolladores no examinados.

El cambio es profundo: de una narrativa común filtrada por instituciones con autoridad a narrativas potencialmente fragmentadas que reflejan una nueva infraestructura de comprensión, adaptada por algoritmos a las preferencias, hábitos y creencias inferidas de cada usuario. Si Babel representó el colapso de un lenguaje compartido, ahora podríamos estar en el umbral del colapso de la mediación compartida.

Si la personalización es el nuevo sustrato epistémico, ¿cómo sería la infraestructura de la verdad en un mundo sin mediadores fijos? Una posibilidad es la creación de fideicomisos públicos de IA, inspirados en una propuesta del jurista Jack Balkin, quien argumentó que las entidades que manejan datos de usuarios y moldean la percepción deberían estar sujetas a estándares fiduciarios de lealtad, cuidado y transparencia.

Los modelos de IA podrían ser gobernados por comités de transparencia, entrenados con conjuntos de datos financiados con fondos públicos y obligados a mostrar pasos de razonamiento, perspectivas alternativas o niveles de confianza. Estos "fiduciarios de la información" no eliminarían el sesgo, pero podrían cimentar la confianza en el proceso, en lugar de basarse únicamente en la personalización. Los desarrolladores pueden empezar por adoptar "constituciones" transparentes que definan claramente el comportamiento del modelo y ofrezcan explicaciones de la cadena de razonamiento que permitan a los usuarios ver cómo se forman las conclusiones. Estas no son soluciones milagrosas, pero son herramientas que ayudan a mantener la autoridad epistémica responsable y trazable.

Los desarrolladores de IA se enfrentan a un punto de inflexión estratégico y cívico. No solo optimizan el rendimiento, sino que también se enfrentan al riesgo de que la optimización personalizada fragmente la realidad compartida. Esto exige un nuevo tipo de responsabilidad hacia los usuarios: diseñar sistemas que respeten no solo sus preferencias, sino también su rol como aprendices y creyentes.

Lo que podríamos estar perdiendo no es simplemente el concepto de verdad, sino el camino a través del cual una vez la reconocimos. En el pasado, la verdad mediada —aunque imperfecta y sesgada— aún estaba anclada en el juicio humano y, a menudo, solo se diferenciaba en una o dos capas de la experiencia vivida de otros seres humanos a quienes conocíamos o con quienes, al menos, podíamos identificarnos.

Hoy, esa mediación es opaca y está impulsada por la lógica algorítmica. Y, si bien la agencia humana lleva mucho tiempo decayendo, ahora corremos el riesgo de algo más profundo: perder la brújula que una vez nos indicó cuándo nos desviábamos del rumbo. El peligro no es solo que creamos lo que nos dice la máquina, sino que olvidemos cómo descubrimos la verdad por nosotros mismos. Lo que corremos el riesgo de perder no es solo la coherencia, sino la voluntad de buscarla. Y con ella, una pérdida aún más profunda: los hábitos de discernimiento, desacuerdo y deliberación que una vez mantuvieron unidas a las sociedades pluralistas.

Si Babel marcó la ruptura de una lengua común, nuestro momento corre el riesgo de provocar el desvanecimiento silencioso de la realidad compartida. Sin embargo, existen maneras de frenar o incluso contrarrestar esta deriva. Un modelo que explique su razonamiento o revele los límites de su diseño puede hacer más que aclarar los resultados. Puede ayudar a restablecer las condiciones para una indagación compartida. No se trata de una solución técnica; es una postura cultural. La verdad, después de todo, siempre ha dependido no solo de las respuestas, sino de cómo llegamos a ellas juntos.