Parametric Social Identity Injection and Diversification in Public Opinion Simulation

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Hexi Wang, Yujia Zhou, Bangde Du, Qingyao Ai, Yiqun Liu

Palabras clave: Persona conditioning, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
8
Hallazgos
13
Limitaciones
6
Evidencias

Resumen editorial

Español

El artículo presenta Parametric Social Identity Injection (PSII), una técnica para simular respuestas de opinión pública mediante la intervención directa de estados ocultos de un LLM. El sistema combina un perfil demográfico en el prompt, vectores demográficos construidos a partir de preguntas e instrucciones generadas con GPT-4o, embeddings asociados a cinco idiomas, denominados «value vectors», ruido gaussiano y una asignación de atributos a capas específicas. Se evalúa con una muestra aleatoria de 100 personas de World Values Survey Wave 7: Q1-Q259 sirven como preguntas objetivo y Q260-Q290 como información de identidad. Cuatro modelos abiertos responden cada pregunta por separado y sus distribuciones agregadas se comparan con las humanas mediante divergencia KL y desviación de entropía (ED).

En la Tabla 1, PSII obtiene el mejor KL y ED global de los métodos comparados en los cuatro modelos: 0,4843/0,0319 para Qwen2.5-7B, 0,5814/0,2123 para Qwen2.5-14B, 0,4017/0,0040 para Llama-3.1-8B y 0,5607/0,0774 para Mistral-24B. Esto es evidencia de un mejor ajuste de los márgenes de respuesta y de la entropía total en esa muestra concreta. No gana cada combinación de categoría y modelo: SimVBG, por ejemplo, logra menor KL en «Beliefs & Life» con Qwen2.5-14B y Mistral-24B. Las ablaciones atribuyen la mayor parte de la mejora a los vectores demográficos y muestran que el ruido contribuye especialmente a acercar la entropía.

La lectura completa y la auditoría del artefacto acotan la interpretación central. Las métricas no comparan grupos demográficos ni calculan diversidad dentro de cada grupo: agregan a las 100 personas por pregunta. Por ello, demuestran ajuste marginal agregado, no que PSII recupere correctamente diferencias entre grupos, minorías o intersecciones. La dispersión de estados ocultos se muestra con KPCA y radio kNN para una sola pregunta y no se valida contra una noción humana de diversidad. Además, las capas se eligen minimizando KL en la misma tarea WVS usada para evaluar, sin conjunto de selección separado.

El código revela una desalineación metodológica: el idioma del prompt y el embedding de idioma se eligen de forma aleatoria e independiente entre inglés, chino, español, árabe y ruso, de modo que coinciden solo por azar y no se basan en el idioma real de la persona. Los llamados value vectors se entrenan en CulturaX como embeddings lingüísticos, no contra valores WVS. Tampoco se publica el tratamiento analítico de 1.057 códigos negativos de no respuesta ni de Q223, donde 70 respuestas humanas válidas usan códigos de partido que el prompt no puede emitir. No hay intervalos, pruebas ni repeticiones de inferencia que respalden la palabra «significativamente».

La publicación ofrece un repositorio considerable, una etiqueta v1.0.0 y un archivo Zenodo con perfiles, traducciones y 400 vectores, pero no incluye outputs ni código para KL, ED, JS, MAE, tablas, figuras o los baselines SimVBG y Persona Vectors; por tanto, los resultados no se pueden regenerar de extremo a extremo. Los CSV públicos contienen 615 columnas de microdatos WVS, coordenadas, identificadores y respuestas sensibles. Las condiciones oficiales actuales de WVS prohíben redistribuir los archivos de datos, por lo que su inclusión pública plantea un riesgo de licencia y privacidad no resuelto. El trabajo es una contribución técnica prometedora para estudiar steering representacional, pero no valida gemelos sociales fieles ni simulación poblacional segura fuera de este experimento controlado.

English

The paper introduces Parametric Social Identity Injection (PSII), a technique for simulating public-opinion responses by intervening directly in an LLM's hidden states. The system combines a demographic profile in the prompt, demographic vectors built from GPT-4o-generated questions and persona instructions, embeddings associated with five languages, called value vectors, Gaussian noise, and an attribute-specific layer assignment. It is evaluated on a random sample of 100 World Values Survey Wave 7 respondents: Q1-Q259 are targets and Q260-Q290 provide identity information. Four open models answer each item independently, and their aggregate response distributions are compared with human distributions using KL divergence and Entropy Deviation (ED).

In Table 1, PSII obtains the best overall KL and ED among the compared methods for all four models: 0.4843/0.0319 for Qwen2.5-7B, 0.5814/0.2123 for Qwen2.5-14B, 0.4017/0.0040 for Llama-3.1-8B, and 0.5607/0.0774 for Mistral-24B. This supports better matching of response marginals and total entropy in this particular sample. PSII does not win every model-category cell; for example, SimVBG has lower Beliefs & Life KL on Qwen2.5-14B and Mistral-24B. Ablations attribute the largest loss to removing demographic vectors and show that noise is especially important for matching entropy.

The full-text and artifact audit narrows the central interpretation. The metrics neither compare demographic groups nor calculate within-group diversity: they aggregate all 100 people for each question. The evidence therefore supports aggregate marginal matching, not accurate recovery of between-group differences, minorities, or intersections. Hidden-state spread is illustrated with KPCA and a kNN radius for one question and is not validated against a human notion of diversity. Layer assignments are also selected by minimizing KL on the same WVS task used for final evaluation, without a separate selection set.

The code exposes a methodological mismatch: prompt language and language embedding are chosen independently at random from English, Chinese, Spanish, Arabic, and Russian, so they match only by chance and are not based on the respondent's actual language. The so-called value vectors are trained on CulturaX as language embeddings rather than against WVS values. The released artifact also does not document the analytical treatment of 1,057 negative nonresponse codes or Q223, where 70 valid human responses use country-specific party codes that the prompt cannot emit. No intervals, tests, or repeated inference runs support the paper's use of 'significantly.'

The study provides a substantial repository, a v1.0.0 tag, and a Zenodo archive with profiles, translations, and 400 vectors, but it releases neither outputs nor code for KL, ED, JS, MAE, tables, figures, SimVBG, or Persona Vectors; the reported results therefore cannot be regenerated end to end. Public CSVs contain 615 columns of WVS microdata, coordinates, identifiers, and sensitive answers. Current official WVS conditions prohibit redistribution of the data files, making their public inclusion an unresolved licensing and privacy risk. PSII is a promising technical contribution for studying representation steering, but it does not validate faithful social twins or safe population simulation beyond this controlled experiment.

Pregunta de investigación

¿Puede la inyección paramétrica de perfiles, vectores demográficos, embeddings lingüísticos y ruido en capas internas de un LLM acercar las distribuciones de respuestas sintéticas a World Values Survey y evitar la homogeneización atribuida al «Diversity Collapse»?

Método

Los autores muestrean 100 de 97.220 respuestas de WVS Wave 7, convierten Q260-Q290 en perfiles y usan Q1-Q259 como objetivos. Cada agente contesta cada ítem por separado con Qwen2.5-7B/14B, Llama-3.1-8B o Mistral-24B. PSII añade al prompt un perfil estructurado, inyecta en capas seleccionadas vectores demográficos obtenidos restando medias de estados ocultos para instrucciones sintéticas, incorpora un embedding entrenado por idioma en 20.000 ejemplos de CulturaX durante tres épocas y aplica ruido gaussiano calibrado por modelo. Compara Direct, High-Temp, Multilingual, Diversity Request, Prompt Engineering, SimVBG y Persona Vectors mediante KL y diferencia absoluta de entropía normalizada; JS y MAE aparecen en el apéndice. Las capas de Qwen2.5-7B se seleccionan barriendo 1-28 y eligiendo la que minimiza KL en la propia tarea.

Muestra: Experimento principal con 100 personas muestreadas aleatoriamente de 97.220 registros WVS, procedentes de 48 países en el CSV publicado; 259 preguntas objetivo por persona. Las visualizaciones de representación usan 500 agentes. La robustez de muestreo repite solo PSII con Qwen2.5-7B en cinco grupos de 100.

Hallazgos

  • PSII obtiene el mejor KL y ED global de la Tabla 1 para los cuatro modelos, aunque no domina todas las categorías.
  • Los resultados globales PSII son KL/ED 0,4843/0,0319, 0,5814/0,2123, 0,4017/0,0040 y 0,5607/0,0774 para Qwen2.5-7B, Qwen2.5-14B, Llama-3.1-8B y Mistral-24B, respectivamente.
  • La ablación de vectores demográficos produce la mayor degradación general; quitar ruido empeora de forma marcada el ajuste de entropía.
  • Cinco muestras de 100 con PSII y Qwen2.5-7B dan KL medio 0,4732 y ED media 0,0290, pero no repiten baselines ni contrastes pareados.
  • Las métricas principales miden distribuciones marginales agregadas y entropía total, no diversidad intergrupo o intragrupo.
  • El idioma del prompt y el embedding lingüístico se sortean de manera independiente en el código, creando una coincidencia esperada de solo aproximadamente el 20%.
  • El repositorio aporta 400 vectores, muestras y un archivo Zenodo, pero carece de outputs y del código analítico necesario para regenerar tablas y figuras.
  • La publicación de microdatos WVS contradice aparentemente la cláusula oficial actual de no redistribución y añade riesgo de privacidad y enlace.

Limitaciones

  • Solo 100 personas sustentan la comparación principal; la robustez adicional evalúa PSII en un único modelo y no la diferencia frente a baselines.
  • No hay métricas condicionadas por grupo, peor grupo, minorías, intersecciones, coherencia conjunta ni estabilidad individual.
  • Las capas se seleccionan con el mismo objetivo humano y la misma tarea que después se usa para evaluar, sin partición de validación independiente.
  • La calibración de ruido tampoco tiene script, outputs o conjunto de selección publicado.
  • Los value vectors son embeddings de idioma; su interpretación como orientaciones de valor no tiene validación de constructo.
  • La asignación uniforme y aleatoria de cinco idiomas ignora el idioma real y la distribución lingüística del encuestado.
  • De 25.900 celdas humanas objetivo, 1.057 son códigos negativos WVS; no se documentan exclusión, denominador o suavizado.
  • Q223 presenta 70 códigos válidos de partidos nacionales que no pueden generarse desde las cuatro opciones genéricas publicadas.
  • El parser acepta el primer número, trunca decimales y no valida el rango; no se informan outputs inválidos.
  • No se ofrecen intervalos, pruebas, semillas completas ni inferencias repetidas para las diferencias entre métodos.
  • SimVBG y Persona Vectors aparecen en las tablas, pero no en run.sh ni en outputs o scripts de análisis publicados.
  • El entorno no fija revisiones exactas de modelos y requiere rutas, API, WVS completo, CulturaX y GPU A100.
  • Los CSV públicos incluyen coordenadas, identificadores y respuestas políticas, religiosas y étnicas sin evaluación de privacidad o permiso de redistribución documentado.

Qué no demuestra

  • No demuestra diversidad fiel entre grupos, dentro de grupos, minorías o identidades interseccionales.
  • No demuestra que la desviación de entropía o la dispersión de estados ocultos equivalgan a diversidad social humana.
  • No demuestra que los embeddings de idioma representen orientaciones de valor individuales.
  • No demuestra predicción individual, coherencia de un gemelo digital ni estabilidad longitudinal.
  • No demuestra generalización a otros cuestionarios, poblaciones, idiomas, países o modelos.
  • No respalda inferencia estadística de significación entre métodos.
  • No permite reproducir de extremo a extremo las tablas y figuras con el artefacto publicado.
  • No demuestra que la redistribución de microdatos WVS cumpla su licencia o sea segura frente a enlace y reidentificación.
  • No valida uso real para decisiones, campañas, políticas públicas o representación sustitutiva de poblaciones.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.16142v2; KDD 2026 accepted version; repository HEAD 5bae420 and archival tag v1.0.0 at f437bf5

Fuente consultada: https://arxiv.org/abs/2603.16142

Revisión: Codex 18-page visual full-text, representation-steering, aggregate-diversity, language-vector alignment, layer-selection, WVS data-quality, statistics, code, privacy, license and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Qwen2.5-7B-Instruct
  • Qwen2.5-14B-Instruct
  • Llama-3.1-8B-Instruct
  • Mistral-24B-Instruct
  • GPT-4o for demographic-vector instruction generation
  • GPT-5-mini, DeepSeek-V3 and Claude-Haiku-4.5 in robustness comparisons

Instrumentos y métricas

  • KL divergence
  • Entropy Deviation (absolute normalized-entropy difference)
  • Jensen-Shannon divergence
  • Mean Absolute Error
  • Kernel PCA of final-token hidden states
  • k-nearest-neighbor radius dispersion
  • WVS Q1-Q290

Datos utilizados

  • World Values Survey Wave 7 cross-national data, version 6.0 sample files
  • CulturaX language subsets
  • GPT-4o-generated demographic questions and persona instructions

Evidencia y localización

  • Método, modelos, muestra, métricas, resultados, ablaciones, capas, robustez, ética, limitaciones y apéndices: arXiv:2603.16142v2, 18/18 pages rendered and individually inspected
  • Versión, aceptación KDD, DOI, autores, fechas y enlace oficial al repositorio: Official arXiv abstract and Atom records inspected 2026-07-17
  • Código, desalineación de idioma-vector, parser, pipeline, vectores, muestras, ausencia de análisis y deriva de versiones: https://github.com/halsayxi/PSII at HEAD 5bae420 and archival tag v1.0.0 f437bf5; local full repository audit 2026-07-17
  • Archivo reproducible congelado, tamaño, suma MD5, versión y licencia MIT: Zenodo concept DOI 10.5281/zenodo.20465632; version DOI 10.5281/zenodo.20466113 inspected 2026-07-17
  • Condición oficial de uso no comercial, cita obligatoria y prohibición de redistribuir los archivos WVS: World Values Survey official download conditions and documentation pages inspected 2026-07-17
  • Auditoría de constructo, muestra, pesos, no respuesta, Q223, estadística, código, privacidad, licencia y reproducibilidad: reports/verification/article-389-psii-aggregate-diversity-language-vector-mismatch-layer-selection-leakage-statistics-code-data-privacy-and-reproducibility-audit.json