Estudio con datos de encuesta CEP pone a prueba encuestas respondidas por inteligencia artificial: Funcionan con menos precisión en Chile que en EE.UU.
La investigación, publicada en EPJ Data Science, evaluó la técnica silicon sampling, que reemplaza encuestados reales por respuestas simuladas con inteligencia artificial. En Chile, los modelos mostraron menor precisión con mujeres, adultos mayores, personas religiosas, quienes tienen menor nivel educacional y los grupos de menores ingresos.
Los grandes modelos de lenguaje (LLM), como los que están detrás de ChatGPT, Gemini o Claude, comenzaron hace algunos años a ser utilizados para simular respuestas de encuestas sin necesidad de consultar a personas reales. La técnica, conocida como silicon sampling, consiste en pedirle a un modelo de inteligencia artificial (IA) que responda un cuestionario como si fuera una persona real.
En 2023, un estudio publicado en la revista Political Analysis por investigadores de la Brigham Young University mostró que este método era capaz de reproducir con bastante precisión las respuestas obtenidas en encuestas realizadas en Estados Unidos, abriendo la posibilidad de usar IA para estudiar opinión pública de manera mucho más rápida y económica.
¿Ocurre lo mismo fuera de Estados Unidos?
Esa fue la pregunta que motivó el trabajo de Andrés Abeliuk y Vanessa Gaete, investigadores del Departamento de Ciencias de la Computación de la Universidad de Chile y del Centro Nacional de Inteligencia Artificial (CENIA), junto a Naim Bro, académico de la Escuela de Gobierno de la Universidad Adolfo Ibáñez (UAI) e investigador del Instituto Milenio Fundamentos de los Datos (IMFD).
Su estudio, publicado en EPJ Data Science, utilizó datos de la Encuesta CEP para evaluar si cuatro modelos de lenguaje —GPT-3.5, GPT-4, Llama-13B y Mistral— eran capaces de representar con precisión las opiniones de la población chilena. Además, comparó esos resultados con los obtenidos usando la encuesta estadounidense American National Election Studies (ANES).
Menor precisión en grupos históricamente subrepresentados
Los resultados mostraron que los modelos funcionan con menor precisión en Chile que en Estados Unidos. En particular, la pérdida de precisión fue mayor en mujeres, adultos mayores, personas religiosas, quienes tienen menor nivel educacional, pertenecen a grupos de menores ingresos o no declaran una identidad política. También tuvieron dificultades para representar perfiles menos frecuentes, como personas de izquierda que además son religiosas o poseen baja escolaridad.
En Estados Unidos, en cambio, los principales errores se concentraron en variables relacionadas con raza e identidad política
Según los investigadores, estas diferencias se explican porque los modelos predicen mejor a las personas cuyos perfiles aparecen con mayor frecuencia en los datos con que fueron entrenados. Como la mayor parte de esa información proviene de países desarrollados —especialmente Estados Unidos—, su desempeño disminuye cuando deben representar sociedades menos presentes en esos datos, como Chile.
Entre los modelos evaluados, Llama-13B obtuvo el mejor desempeño general, seguido por GPT-4. GPT-3.5 mostró resultados más irregulares y Mistral fue el que presentó mayores dificultades para adaptarse al contexto chileno. Incluso reentrenar Llama con más datos de la encuesta CEP solo mejoró algunos resultados específicos, sin resolver el problema de fondo.
¿Pueden reemplazar a las encuestas?
Para Naim Bro, el creciente interés por esta tecnología tiene una explicación práctica. «Las encuestas son muy caras y esto aparece como una alternativa muy barata. En vez de hacer una encuesta más grande y gastar mucho más dinero, podría utilizar un modelo de lenguaje para obtener una representación de la opinión pública», explicó en entrevista con La Tercera.
Sin embargo, agrega que el estudio demuestra que esa promesa todavía tiene importantes limitaciones: «Nuestra pregunta era si esto también funcionaba en Chile, considerando que estos modelos han sido entrenados principalmente con información de Estados Unidos y otros países desarrollados.»
La respuesta, según el estudio, es que las encuestas simuladas aún no son 100% efectivas en reemplazar a las tradicionales y que sus errores no son aleatorios: afectan sistemáticamente a determinados grupos de la población, precisamente aquellos que muchas veces son relevantes para el diseño de políticas públicas.
Más allá del caso chileno, los investigadores concluyen que el desempeño de un modelo de lenguaje depende del contexto donde se utiliza y no solo de su calidad técnica. Por ello, recomiendan validar estas herramientas con datos locales y evaluar su desempeño en distintos grupos sociodemográficos antes de utilizarlas para estudiar opinión pública o apoyar la toma de decisiones.
Sobre el estudio
«Auditing Socio-Demographic and Cross-Societal Fairness in LLM-Simulated Public Opinion«, de Andrés Abeliuk (Universidad de Chile y CENIA), Vanessa Gaete (Universidad de Chile y CENIA) y Naim Bro (Universidad Adolfo Ibáñez e Instituto Milenio Fundamentos de los Datos), fue publicado en EPJ Data Science.