Restoring Heterogeneity in LLM-based Social Simulation: An Audience Segmentation Approach

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Xiaoyou Qin, Zhihong Li, Xiaoxiao Cheng

Palabras clave: Persona conditioning, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
6
Hallazgos
11
Limitaciones
8
Evidencias

Resumen editorial

Español

Este estudio examina si la segmentación de audiencias puede conservar mejor la heterogeneidad al simular opiniones sociales con LLM. Parte de 594 participantes de Estados Unidos reclutados en Prolific en octubre de 2025, con cuotas alineadas con el censo en género, edad y región, y los agrupa en seis segmentos climáticos SASSY: Alarmed, Concerned, Cautious, Disengaged, Doubtful y Dismissive. Es una muestra no probabilística con cuotas, no una muestra nacional representativa; no se publican pesos, tasa de respuesta, composición completa ni tamaños de los segmentos. Llama 3.1-70B y Mixtral 8x22B responden tres escalas Likert de siete puntos sobre si el cambio climático resulta agradable/desagradable, favorable/desfavorable y positivo/negativo. Se comparan seis configuraciones: cinco datos demográficos; esos datos más 59 o 15 identificadores teóricos; 15 predictores elegidos por gradient boosting; los 15 ítems SASSY; y sus cuatro ítems de segmentación. La evaluación separa fidelidad distribucional, estructural y una dimensión denominada predictiva. El resultado central es matizado: ninguna configuración gana en todo y añadir más variables no mejora de forma monotónica. Frente al promedio de KL 4,65 del perfil demográfico, Theory-15 baja a 1,10 y Theory-59 queda en 2,76, pero F1 y MAE apenas cambian. Item-15 obtiene el menor KL medio, 0,47, y la variación intragrupo más próxima a la humana, SD 0,99 y CV 0,54 frente a 1,19 y 0,53. Data-driven se acerca más a la separación entre grupos: nEMD medio 0,18 frente al benchmark humano 0,19, aunque la cifra depende de Mixtral, 0,25, mientras Llama queda en 0,11. Todas las configuraciones conservan sobre-regularización o geometrías inestables. La supuesta fidelidad predictiva es el promedio de asociaciones Cramér V entre identificadores y solo tres resultados; no es predicción fuera de muestra ni evidencia causal. Además, Item-4 e Item-15 introducen actitudes climáticas para predecir otras tres actitudes climáticas muy próximas del mismo cuestionario, de modo que su ventaja puede reflejar proxies cercanos al objetivo y no heterogeneidad general. La selección Data-driven tampoco informa split, validación cruzada ni holdout, por lo que no establece rendimiento fuera de muestra. Los dos modelos se escogieron tras comparar otros candidatos parcialmente por consistencia de persona y diversidad, propiedades afines al resultado posterior; no se publica ese benchmark y existe sesgo de selección favorable. Faltan número exacto de generaciones, semillas, checkpoints, motor, reintentos, fallos de parseo y definiciones reproducibles de KL, nEMD y las métricas de clasificación. No hay intervalos, bootstrap, tests ni replicaciones estocásticas. El CV es discutible en Likert porque depende del cero arbitrario, y MDS/Procrustes sobre solo seis grupos carece de estrés o estabilidad. El problema documental más grave es que el texto remite repetidamente al Apéndice A y a las Tablas A1-A10 para preguntas, identificadores, prompts y resultados completos, pero el PDF de 43 páginas termina tras las referencias y el fuente arXiv termina en la bibliografía sin apéndice. Tampoco se localizó repositorio, dataset, código, outputs o suplemento oficial. El trabajo aporta un marco multidimensional útil y evidencia descriptiva de que la elección de variables importa, pero no demuestra que la segmentación restaure en general la heterogeneidad humana ni permite reproducir exactamente sus resultados.

English

This study examines whether audience segmentation can better preserve heterogeneity when LLMs simulate social opinion. It starts from 594 U.S. participants recruited through Prolific in October 2025, with quotas aligned to Census distributions for gender, age, and region, and assigns them to six SASSY climate segments: Alarmed, Concerned, Cautious, Disengaged, Doubtful, and Dismissive. This is a quota-aligned nonprobability sample, not a nationally representative sample; weights, response rate, full composition, and segment sizes are not reported. Llama 3.1-70B and Mixtral 8x22B answer three seven-point scales asking whether climate change is pleasant/unpleasant, favorable/unfavorable, and positive/negative. Six configurations are compared: five demographic variables; demographics plus 59 or 15 theory-selected identifiers; 15 gradient-boosting predictors; the 15 SASSY items; and its four segmentation items. Evaluation separates distributional, structural, and a dimension called predictive fidelity. The main result is qualified: no configuration wins everywhere, and adding variables does not improve performance monotonically. Against the demographic profile's average KL divergence of 4.65, Theory-15 falls to 1.10 and Theory-59 reaches 2.76, while F1 and MAE change little. Item-15 has the lowest mean KL, .47, and the closest within-group variation, SD .99 and CV .54 against human values of 1.19 and .53. Data-driven comes closest to between-group separation, with mean nEMD .18 against a human benchmark of .19, although that average is driven by Mixtral at .25 while Llama remains .11. Every configuration retains over-regularization or unstable geometry. The so-called predictive fidelity is averaged Cramer's V association between identifiers and only three outcomes; it is not out-of-sample prediction or causal evidence. Item-4 and Item-15 also supply climate attitudes to predict three closely related climate attitudes from the same questionnaire, so their advantage may reflect near-target proxies rather than general heterogeneity. The Data-driven selection reports no split, cross-validation, or holdout and therefore does not establish out-of-sample performance. The two models were chosen after comparing other candidates partly on persona consistency and response diversity, properties close to the later target; that benchmark is not reported, creating favorable-selection bias. Exact generation counts, seeds, checkpoints, serving stack, retries, parsing failures, and reproducible definitions of KL, nEMD, and classification metrics are absent. There are no intervals, bootstrap analyses, tests, or stochastic replications. CV is questionable for Likert data because it depends on the scale's arbitrary zero, while MDS/Procrustes on only six groups lacks stress or stability analysis. The most serious documentary problem is that the text repeatedly cites Appendix A and Tables A1-A10 for questions, identifiers, prompts, and full results, yet the 43-page PDF ends after the references and the official arXiv source ends at the bibliography with no appendix. No official repository, dataset, code, outputs, or supplement was found. The paper contributes a useful multidimensional framework and descriptive evidence that variable choice matters, but it does not establish that segmentation generally restores human heterogeneity and its results cannot be reproduced exactly from the available artifacts.

Pregunta de investigación

¿Puede la segmentación de audiencias reducir la homogeneización de las simulaciones sociales con LLM, y cómo cambian la fidelidad distribucional, estructural y de asociaciones al variar granularidad, parsimonia y lógica de selección de los identificadores?

Método

Se encuesta a 594 participantes de Prolific y se los asigna a seis segmentos climáticos SASSY. Dos LLM open-weight reciben seis configuraciones de persona y responden tres ítems climáticos Likert en zero-shot, temperatura 0,8 y top-p 1,0. Se comparan medias, métricas de clasificación y KL; SD/CV, nEMD y MDS/Procrustes; y asociaciones Cramér V entre identificadores y resultados.

Muestra: 594 participantes estadounidenses de Prolific, con cuotas de género, edad y región alineadas al censo, recogidos en octubre de 2025 y filtrados por IP, atención, tiempo de respuesta e inspección manual. No se publican pesos, tasa de respuesta, exclusiones, composición completa ni n por segmento. El número exacto de respuestas sintéticas y repeticiones no se especifica.

Hallazgos

  • Ninguna configuración domina las tres dimensiones y más identificadores no implica más fidelidad: Theory-15 supera a Demo y Theory-59 en varias métricas, pero las diferencias dependen del indicador.
  • El KL medio baja de 4,65 en Demo a 1,10 en Theory-15 y 2,76 en Theory-59; F1 medio es 0,425, 0,455 y 0,445, y MAE 0,64, 0,63 y 0,69.
  • Item-15 logra el menor KL medio, 0,47, y la variación intragrupo más próxima a la humana, SD 0,99/CV 0,54 frente a 1,19/0,53.
  • Data-driven alcanza nEMD medio 0,18 frente a 0,19 humano y Procrustes medio 0,48, pero el nEMD depende de Mixtral 0,25; Llama queda en 0,11.
  • Item-4 alcanza las asociaciones Cramér V más altas, pero usa los cuatro ítems climáticos que definen el segmento para predecir tres resultados climáticos próximos.
  • Todos los diseños siguen comprimiendo o reestructurando parte de la variación humana; el estudio reconoce que la segmentación no es una solución total.

Limitaciones

  • La muestra Prolific con cuotas en tres variables no es probabilística ni representativa de Estados Unidos; faltan pesos, denominador de reclutamiento, composición y tamaños de subgrupo.
  • Solo se predicen tres ítems afectivos sobre clima con dos modelos elegidos tras un screening no publicado; no hay base para generalizar a otros dominios, conductas, poblaciones o LLM.
  • Los identificadores Item-4/15 son proxies climáticos próximos a los outcomes y el apéndice ausente impide medir el solapamiento exacto.
  • La selección Data-driven no documenta split, cross-validation, holdout o selección anidada, por lo que puede estar evaluada sobre los mismos participantes usados para elegir variables.
  • Los modelos se seleccionan parcialmente por diversidad antes de evaluar heterogeneidad, sin tabla ni protocolo independiente, lo que introduce sesgo de selección favorable.
  • No se informan n sintético, repeticiones, semillas, checkpoints, serving, chat template, parser, fallos, reintentos ni exclusiones.
  • KL carece de dirección/smoothing/base; nEMD no define normalización; accuracy/precision/recall/F1 no explican cómo convierten dos distribuciones en clases comparables.
  • CV no es adecuado sin reservas para una Likert con cero arbitrario, y MDS/Procrustes de seis grupos no reporta estrés, semilla, bootstrap o estabilidad.
  • No hay intervalos, tests, bootstrap, replicación estocástica ni control de multiplicidad; las diferencias son descriptivas.
  • El Apéndice A y las Tablas A1-A10 citadas no existen en el PDF ni en el paquete TeX oficial; faltan preguntas, identificadores, prompts y tablas completas.
  • No se localizan código, datos, outputs, suplemento ni análisis reproducible, y tampoco se documentan IRB/ética, consentimiento, compensación o preregistro.

Qué no demuestra

  • No demuestra que la muestra represente la opinión pública estadounidense ni permite estimar prevalencias nacionales o por segmento.
  • No demuestra que la segmentación restaure la heterogeneidad humana en general; solo describe tres ítems climáticos en dos modelos preseleccionados.
  • No establece superioridad uniforme de Item-15, Data-driven o cualquier otra configuración: cada una favorece métricas distintas.
  • No prueba capacidad predictiva fuera de muestra ni relaciones causales; Cramér V solo compara asociaciones dentro de este diseño.
  • No separa plenamente fidelidad de información próxima al objetivo en Item-4/15 ni riesgo de selección in-sample en Data-driven.
  • No sustenta que más identificadores sean siempre peores; muestra rendimientos no monotónicos dentro de seis configuraciones concretas.
  • No permite reproducir exactamente tratamientos, prompts, métricas o resultados sin el apéndice y los artefactos ausentes.
  • No valida que las diferencias pequeñas sean estables frente a semillas, muestras, definiciones métricas o modelos alternativos.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.06663v1 preprint

Fuente consultada: https://arxiv.org/pdf/2604.06663v1

Revisión: Codex 43-page visual full-text, TeX/source, appendix completeness, sampling, target-proxy, model-selection, metric, statistical, human-subjects, artifact and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Llama 3.1-70B
  • Mixtral 8x22B
  • Qwen, Gemma 3 and BLOOM in an undocumented preliminary model screen
  • Gradient-boosting model for Data-driven identifier selection

Instrumentos y métricas

  • SASSY six-segment climate audience framework
  • Three seven-point climate-affect items Q25-Q27
  • Mean absolute error
  • Accuracy, weighted precision, weighted recall and F1
  • KL divergence
  • Within-group standard deviation and coefficient of variation
  • Median normalized Earth Mover's Distance
  • Multidimensional scaling and Procrustes distance
  • Cramer's V identifier-outcome associations

Datos utilizados

  • October 2025 U.S. Prolific climate-opinion survey, n=594
  • Six SASSY audience segments
  • LLM-generated responses under six segmentation configurations

Evidencia y localización

  • Objetivo, marco de heterogeneidad y seis segmentos: arXiv v1, pp. 1-6, Abstract, Introduction and theoretical framework
  • Muestra Prolific, screening, seis configuraciones y modelos: arXiv v1, pp. 7-11, Methods; official TeX lines 224-290
  • Tres outcomes, decoding and three-dimensional evaluation: arXiv v1, pp. 11-16, Methods and Figure 1
  • Granularidad, distribución, SD/CV, nEMD and Procrustes: arXiv v1, pp. 16-24, Results and Figures 2-4
  • Parsimony, identifier-selection logic and Cramer's V: arXiv v1, pp. 24-34, Results and Figures 2-5
  • Conclusions, residual over-regularization and declared limitations: arXiv v1, pp. 34-38, Discussion
  • Absence of the repeatedly cited Appendix A and Tables A1-A10: All 43 PDF pages; official arXiv source package SHA-256 9390c8c4cf3250b088585425fd97ecd84ef0e40bd0bc6fe9cc952885dddd9c7a; main.tex ends after bibliography
  • Integrated sample, model-selection, target-proxy, metric, statistics and reproducibility audit: reports/verification/article-375-audience-segmentation-missing-appendix-model-selection-target-proxy-metric-validity-statistics-human-sample-and-reproducibility-audit.json