Improving Cross-Cultural Survey Simulation with Calibrated Value Personas

Society, culture, and collective behavior2026arXivApproved editorial review

Authors: Axel Abels, Elias Fernandez Domingos, Apurva Shah, Tom Lenaerts

Keywords: Personality, Persona conditioning, Human simulation, World Values Survey, Cross-cultural validity, Calibration, Reproducibility

Source: Open primary source (opens in a new tab)

4
Authors
13
Findings
23
Limitations
4
Evidence

Editorial summary

English

This preprint, described in the manuscript as under review at VALE 2026, asks whether cultural survey responses can construct textual personas that improve aggregate prediction of other World Values Survey (WVS) questions. The descriptive result is clear within that design: across ten deliberately selected countries and 35 held-out questions, value-based personas obtain lower MAE than generic, country, and sociodemographic prompts. However, the phrase “cross-cultural simulation” needs an important boundary: the system starts from real responses from the same population, and its calibration also learns from human distributions in the target country. It is more accurately survey-assisted population imputation than autonomous reconstruction of a culture.

The study uses WVS Trend File 1981-2022 v4.1.0. For each respondent, ten answers underlying the Inglehart-Welzel cultural map are converted by GPT-5.4 or Claude Sonnet 4.6 into persona sentences. Each evaluated model receives these descriptors, answers a held-out question, and supplies probabilities over admissible integer options; distributions are averaged across personas. Nine countries on the cultural-map convex hull, Moldova, Taiwan, Japan, Iceland, Sweden, Puerto Rico, Colombia, Ghana, and Jordan, are tested alongside the United Kingdom as a WEIRD comparator. This is a deliberately extreme, not representative, country sample.

The appendix heatmap reports mean MAE of 0.164 for generic prompting, 0.154 for country prompting, 0.138 for sociodemographic prompting, and 0.108 for value personas. Ghana changes descriptively from 0.210 to 0.121 relative to generic prompting and Jordan from 0.213 to 0.125, while the cross-country range narrows. This supports the narrower finding that the ten observed items contain useful predictive signal for other WVS attitudes and that textual descriptors help these models use it. It does not show that Ghana or Jordan are less represented in model training: the paper measures no exposure, language, tokenization, or corpus coverage. Mitigation of inherited training bias is therefore a causal hypothesis rather than an observed mechanism.

Uncalibrated distributions are under-dispersed. The paper raises temperature and applies an exponential tilt whose beta preserves the original mean exactly. Temperature is fit leave-one-question-out from human distributions on the other questions in the same analysis and then applied to the held-out question. Lower Wasserstein distance and closer marginal variance are useful, but “without sacrificing accuracy” follows mathematically from constraining the expectation: mean-response MAE cannot change. The transform reweights existing support; it cannot create zero-probability answers or validate cross-question correlations, subgroups, individual consistency, or realistic multimodality.

The result is not zero-shot for a new population. Personas contain ten real answers from target-country individuals, and calibration needs human labels for other questions in that country. The design tests item-wise generalization within one survey corpus, not a country with no survey data. Nor does it predict each respondent: the paper explicitly limits its claim to aggregate means and distributions. WVS provides both predictors and outcomes, and the Inglehart-Welzel associations are well known and potentially present in pretraining.

Uncertainty reporting is incomplete. The paper omits human N, complete-case and persona counts by country, survey weights, wave composition, detailed missing-data handling, seeds, model repetitions, sample-curve resample count, and the method behind its bands or ranges. The heatmap applies Wilcoxon p<0.05 annotations to many comparisons without documented multiplicity correction; descriptor Mann-Whitney tests pool repeated question, country, and model cells without a clear observational unit. No detected difference between GPT-5.4 and Claude is not an equivalence result.

There is also internal model-version drift: methods list Qwen 3.5-36B and Ministral 3-27B, while figures label Qwen3.6-35B and Ministral-3-14B. IDs/revisions, providers, API dates, log-probability extraction, templates, quantization, and run settings are absent. No repository, code, data, outputs, per-persona tables, fitted temperatures, environment, tests, CI, or license was found; the paper promises release after publication. The numbers are therefore not currently reproducible. The faithful conclusion is that personas derived from real WVS values descriptively improve aggregate imputation of other WVS items and that human-supervised calibration corrects marginal dispersion. The work does not establish faithful cultural persons, genuine beliefs, individual prediction, a training-data-bias mechanism, human joint structure, or generalization to data-free countries, open responses, behavior, or high-stakes decisions.

Español

Este preprint, que el manuscrito presenta como bajo revisión en VALE 2026, estudia si las respuestas de una encuesta cultural pueden servir para construir personas textuales que mejoren la predicción agregada de otras preguntas del World Values Survey (WVS). El resultado descriptivo es claro dentro de ese diseño: en diez países seleccionados deliberadamente y 35 preguntas left-out, las personas basadas en valores obtienen menor MAE que los prompts genérico, nacional y sociodemográfico. Pero el nombre «simulación intercultural» necesita una frontera importante: el sistema parte de respuestas reales de la misma población y su calibración también aprende de distribuciones humanas del país objetivo. Es mejor describirlo como imputación poblacional asistida por encuesta, no como reconstrucción autónoma de una cultura.

El trabajo usa el WVS Trend File 1981-2022 v4.1.0. Para cada encuestado, diez respuestas que sustentan el mapa cultural de Inglehart-Welzel se convierten mediante GPT-5.4 o Claude Sonnet 4.6 en frases de persona. Cada modelo recibe esos descriptores, contesta una pregunta left-out y aporta probabilidades sobre todas las opciones enteras; las distribuciones se promedian entre personas. Se prueban nueve países del convex hull cultural, Moldova, Taiwan, Japón, Islandia, Suecia, Puerto Rico, Colombia, Ghana y Jordania, y Reino Unido como comparador WEIRD. La selección es intencionalmente extrema, no representativa.

La heatmap del apéndice reporta MAE medio 0,164 para prompt genérico, 0,154 para país, 0,138 para sociodemografía y 0,108 para valores. Ghana pasa descriptivamente de 0,210 a 0,121 frente al genérico y Jordania de 0,213 a 0,125. El rango entre países también se estrecha. Esto sustenta que los diez ítems reales contienen señal predictiva útil para otras actitudes WVS y que expresarlos como descriptores ayuda a estos modelos. No prueba que Ghana o Jordania estén menos presentes en los datos de entrenamiento: el paper no mide exposición, idioma, tokenización ni cobertura de corpus. Por ello, atribuir la mejora a mitigación de sesgos heredados del entrenamiento es una hipótesis causal, no un resultado medido.

Las distribuciones sin calibrar son demasiado concentradas. El paper eleva la temperatura y aplica un exponential tilt cuyo parámetro beta conserva exactamente la media original. La temperatura se ajusta leave-one-question-out con las distribuciones humanas de las demás preguntas del mismo análisis y se aplica a la pregunta retenida. La reducción de distancia Wasserstein y la aproximación de varianza marginal son útiles, pero «sin sacrificar accuracy» es consecuencia matemática de fijar la esperanza: el MAE de medias no puede cambiar. La transformación repondera soporte existente; no crea opciones con probabilidad cero ni valida correlaciones entre preguntas, subgrupos, coherencia individual o multimodalidad real.

Los resultados no son zero-shot respecto a una población nueva. Las personas contienen diez respuestas de individuos reales del país objetivo y la calibración necesita labels humanos de otras preguntas del mismo país. El diseño evalúa generalización entre ítems dentro del mismo corpus, no un país sin encuesta. Tampoco predice a cada individuo: el propio artículo limita el claim a promedios y distribuciones agregadas. WVS aporta simultáneamente predictores y outcomes, y las asociaciones del marco Inglehart-Welzel son conocidas y potencialmente presentes en pretraining.

La incertidumbre está incompleta. No se publican N humanos, complete cases o personas por país, pesos de encuesta, composición por oleadas, tratamiento detallado de missingness, seeds, repeticiones de modelo, número de remuestreos de la curva de tamaño ni el método de sus bandas/rangos. La heatmap aplica Wilcoxon p<0,05 a numerosas comparaciones sin corrección múltiple documentada; los Mann-Whitney de descriptores usan celdas repetidas de preguntas, países y modelos sin unidad observacional clara. Una ausencia de diferencia entre GPT-5.4 y Claude no es equivalencia.

Hay además deriva interna de versiones: métodos enumera Qwen 3.5-36B y Ministral 3-27B, mientras las figuras etiquetan Qwen3.6-35B y Ministral-3-14B. Faltan IDs/revisiones, proveedores, fechas API, extracción de logprobs, templates, cuantización y configuración. No se encontró repo, código, datos, outputs, tablas por persona, temperaturas ajustadas, entorno, tests, CI o licencia; el paper promete liberarlos tras publicación. Por eso las cifras no son reproducibles hoy. La conclusión fiel es que personas derivadas de valores WVS reales mejoran de forma descriptiva la imputación agregada de otros ítems WVS y que una calibración con supervisión humana corrige dispersión marginal. No establece personas culturales fieles, creencias genuinas, predicción individual, causalidad de training-data bias, estructura conjunta humana ni generalización a países sin datos, respuestas abiertas, conducta o decisiones de alto impacto.

Research question

¿Mejoran las personas textuales derivadas de diez respuestas culturales individuales la predicción agregada de 35 preguntas WVS left-out frente a prompts genéricos, nacionales, sociodemográficos y few-shot, y puede una calibración con preservación de la media corregir la infradispersión?

Method

Se toman perfiles individuales reales del WVS Trend File 1981-2022 v4.1.0, se convierten diez respuestas Inglehart-Welzel en descriptores textuales y se agrega la distribución de opciones que un LLM produce para cada persona. La evaluación cubre diez países y 35 ítems ordered con menos de 20% de missingness en cada país. La calibración ajusta temperatura leave-one-question-out con otras distribuciones humanas del mismo análisis y aplica exponential tilting para conservar la esperanza. La auditoría revisó visualmente 20 páginas, TeX, figuras, prompts, preguntas, estadística, versiones y disponibilidad de artefactos.

Sample: Diez países: Moldova, Taiwan, Japón, Islandia, Suecia, Puerto Rico, Colombia, Ghana, Jordania y Reino Unido. Nueve son extremos del convex hull cultural y Reino Unido es comparador WEIRD. Hay 35 preguntas objetivo y 12 modelos en las figuras, pero el paper no informa N humanos, complete cases o personas por país, pesos, composición temporal, número de réplicas, seeds o remuestreos. Los 2.000 draws de la figura introductoria no se identifican como el N del análisis principal.

Findings

  • La heatmap reporta MAE medio 0,164 genérico, 0,154 país, 0,138 sociodemográfico y 0,108 persona de valores.
  • Ghana baja descriptivamente 0,210 a 0,121 y Jordania 0,213 a 0,125 frente al genérico.
  • Los diez valores WVS contienen señal útil para otros ítems del mismo corpus.
  • El muestreo de perfiles reales y sus descriptores supera baselines en la mayoría de pares modelo-país.
  • Las distribuciones LLM sin calibrar tienen menor varianza que las humanas.
  • El tilt reduce distancia marginal conservando exactamente la media.
  • La preservación de MAE es garantizada por diseño, no un test independiente.
  • La calibración utiliza labels humanos de otras preguntas del mismo país.
  • La selección de países es extrema y purposive, no representativa.
  • Underrepresentation en training no está operacionalizada ni medida.
  • No diferencia significativa entre generadores no demuestra equivalencia.
  • Qwen y Ministral tienen nombres/tamaños incompatibles entre texto y figuras.
  • No hay artefacto público para reproducir cifras o tests.

Limitations

  • Preprint under review; aceptación no verificada.
  • Perfiles construidos con respuestas humanas del target.
  • Calibración supervisada con distribuciones humanas del target.
  • Solo generalización entre ítems del mismo WVS.
  • Solo agregados nacionales, no individuos.
  • Diez países seleccionados deliberadamente en extremos.
  • Solo 35 preguntas ordered y cerradas.
  • WVS aporta predictores y outcomes correlacionados.
  • Posible exposición previa al WVS no medida.
  • Training-data representation no medida.
  • Sin N, complete cases o personas por país.
  • Sin pesos, oleadas o missingness detallado.
  • Sin seeds o réplicas de modelos.
  • Rangos y bandas sin método completo.
  • Wilcoxon grid sin multiplicidad documentada.
  • Dependencia entre preguntas, países y modelos.
  • Mann-Whitney con unidad observacional ambigua.
  • Varianza/Wasserstein marginal no capturan estructura conjunta.
  • Tilt no crea soporte ausente.
  • Extracción de logprobs no especificada.
  • Dos identidades de modelo inconsistentes.
  • Sin IDs, revisiones, API dates o settings.
  • Sin código, datos, outputs, environment, tests, CI o licencia.

What the study does not establish

  • Simulación autónoma de una cultura sin encuesta local.
  • Predicción individual o personas sintéticas estables.
  • Creencias, preferencias o experiencias humanas genuinas.
  • Generalización representativa a todos los países.
  • Rendimiento en países sin labels humanos.
  • Mitigación causal del sesgo de datos de entrenamiento.
  • Que Ghana o Jordania estén menos representados en pretraining.
  • Estructura conjunta o correlaciones humanas entre preguntas.
  • Subgrupos, multimodalidad o coherencia longitudinal reales.
  • Equivalencia entre generadores de descriptores.
  • Robustez a respuestas abiertas, conducta o nuevos instrumentos.
  • Idoneidad para consulta pública o alto impacto.
  • Reproducción de cifras desde un artefacto público.

Traceability

Scope: Full text

Version: arXiv:2605.16193v1, submitted 2026-05-15, 20 pages, complete TeX; manuscript says under review at VALE 2026; no public code or data located

Consulted source: https://arxiv.org/abs/2605.16193v1

Review: Codex 20-page visual full-text, complete TeX, prompt, target-question, aggregate-result, construct, calibration, statistics, model-version and artifact-reproducibility audit, 2026-07-17

Approval: Codex fidelity pass, 2026-07-17

English translation: approved, 2026-07-18

Models evaluated

  • GPT-5.4
  • GPT-5.4 mini
  • GPT-5.4 nano
  • Gemini 3 Flash
  • Gemini 3.1 Flash-Lite
  • Gemma 4 31B
  • Gemma 4 E4B
  • Qwen3.5 9B
  • Qwen3.5 4B
  • Qwen3.5 36B in methods / Qwen3.6 35B in figures
  • Ministral 3 8B
  • Ministral 3 27B in methods / Ministral 3 14B in figures
  • GPT-5.4 descriptor generator
  • Claude Sonnet 4.6 descriptor generator

Instruments and metrics

  • Ten Inglehart-Welzel cultural-map items
  • 35 held-out ordered WVS target questions
  • Generic, country, sociodemographic, few-shot and value-persona prompts
  • Normalized country-level mean absolute error
  • Normalized marginal response variance
  • One-dimensional Wasserstein distance
  • Mean-preserving temperature scaling with exponential tilting
  • Question-wise leave-one-out temperature fitting
  • Wilcoxon signed-rank annotations without documented grid-wide multiplicity correction
  • BH-corrected two-sided Mann-Whitney U descriptor comparisons
  • Shapley item-contribution analysis
  • Independent construct, calibration, statistics, version and reproducibility audit

Data used

  • World Values Survey Trend File 1981-2022 Cross-National Data-Set v4.1.0
  • Ten observed value responses per available WVS respondent
  • 35 target questions with less than 20% missingness in every selected country
  • Nine cultural-map convex-hull countries plus the United Kingdom
  • Unreleased processed data, descriptors, model probabilities and calibration tables

Evidence and location

  • Texto, figuras, prompts, preguntas, ética y limitaciones: arXiv:2605.16193v1; PDF sha256 39f6e2a37307721d656fce3611b3fd683bcd5ea5e91cc1e374686cbd799a09f5; TeX sha256 be8d819e416055d7df6e7626e60404a6e1d9760b282e4122d64c4bbefd2728fd
  • Fuente de datos: World Values Survey Trend File 1981-2022 v4.1.0, DOI 10.14281/18241.27
  • Estado editorial y artefacto: Manuscript footnote says under review at VALE 2026 and code/data upon publication; FARI page labels it workshop white paper; no official proceedings or public repository located at audit time
  • Auditoría independiente: reports/verification/article-330-value-persona-survey-assisted-imputation-calibration-statistics-model-version-and-reproducibility-audit.json