When Can Digital Personas Reliably Approximate Human Survey Findings?

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Mumin Jia, Yilin Chen, Divya Sharma, Jairo Diaz-Rodriguez

Palabras clave: Digital personas, LISS panel, Longitudinal survey prediction, Retrieval-augmented personas, Human response fidelity, Distributional alignment, Individual prediction, Adjusted Rand Index, Survey methodology, Synthetic respondents

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
10
Hallazgos
20
Limitaciones
3
Evidencias

Resumen editorial

Español

El preprint evalúa cuándo una persona digital puede aproximar respuestas de encuesta reales usando el panel longitudinal holandés LISS. Separa información previa y targets en 2023: en single-wave prediction usa la última respuesta previa de módulos core para predecir encuestas puntuales de 2023-2024; en core prediction usa todo el historial previo de encuestas puntuales para predecir módulos core de 2023. La fortaleza principal es que compara la predicción con respuestas posteriores de la misma persona, no con plausibilidad o promedios de otra muestra.

Parte de 6.276 participantes válidos, 34 variables de background y 2.923 preguntas cerradas únicas, pero evalúa dos muestras separadas de 500. No son muestras aleatorias representativas del panel: tras asignar cupos por edad, género y etapa del hogar, selecciona dentro de cada celda a quienes tienen más respuestas previas y más targets posteriores. Usar disponibilidad post-cutoff para escoger casos produce una muestra de alta participación y observabilidad. Mantiene tres márgenes gruesos, no la distribución completa de LISS ni de las 34 variables. La fórmula fiel es «muestras demográficamente asignadas y priorizadas por cobertura dentro de un panel probabilístico», no «muestras poblacionales representativas».

Compara cuatro contextos: background; un perfil de hasta 1.500 palabras generado por GPT-5.4 desde todo el historial; perfil más retrieval léxico; y perfil más retrieval semántico con text-embedding-3-small. GPT-5.4, Gemini-3-Flash-Preview y Claude Haiku 4.5 predicen bloques de unas 20 preguntas. Todos reciben perfiles GPT-5.4; por ello, las comparaciones de proveedor comparten una representación OpenAI. El baseline sin persona sólo usa GPT-5.4 y consulta cada pregunta 500 veces, pero no documenta temperatura, seeds o revisión exacta. Claude y Gemini carecen de baseline sin contexto del mismo modelo.

La evidencia más sólida es agregada. En core, el mejor exact match individual es 0,536 frente a 0,478 del baseline: +5,8 puntos. En single-wave es 0,467 frente a 0,445: +2,2. El F1 ponderado por pregunta sube 0,306→0,444 y 0,303→0,382. Las distancias de distribución mejoran más: JSD 0,530→0,301 y MMD 0,343→0,155 en core; JSD 0,537→0,394 y MMD 0,292→0,216 en single-wave. Retrieval aparece con frecuencia entre los mejores settings, sobre todo en core, pero no hay un ganador universal por modelo, arquitectura y métrica. La lectura correcta es mejor aproximación de distribuciones, no sustitución fiable de individuos.

Las comparaciones necesitan más contexto. No se publican majority, chance, previous-wave o demographic-cell baselines, aunque podrían servir como referencias descriptivas sin ser deployables. Weighted F1 favorece clases frecuentes. MMD usa un factor 1/2 no explicado y no especifica encoding categórico, bandwidth RBF, normalización o missingness. El índice de equity mide sólo paridad relativa de accuracy para edad, género y hogar; puede ser bajo aunque todos los grupos estén mal predichos y no cubre otras desigualdades. «Statistically tied» se decide por solape de media ± bootstrap SE con sólo 100 resamples: ±1 SE no es un intervalo de confianza ni el solape una prueba pareada, y no hay control por multiplicidad.

El análisis explicativo también está sobrepresentado. La capa behavioral usa variabilidad humana de la pregunta y rareza de la respuesta real calculadas con el target; explica errores retrospectivamente, pero no predice fiabilidad prospectiva sin encuestar antes a humanos. El texto afirma que XGBoost obtiene siempre el mayor AUC, aunque Random Forest lo supera en cinco de seis comparaciones: 0,819>0,817 y 0,744>0,743 en core; 0,773>0,762, 0,737>0,725 y 0,686>0,670 en single-wave. Las tablas aun así ponen AUC de XGBoost en negrita. No se describe split o cross-validation y no aparecen los intervalos AUC prometidos.

La evidencia de clustering no admite cifra definitiva. La figura overall y su texto sitúan la mayoría de ARI single-wave por debajo de 0,035 y core hasta 0,06-0,07. Las tablas dan single-wave 0,044-0,316 y baseline 0,067, y core hasta 0,133. No pueden ser el mismo cálculo sin una transformación o versión no explicada. Se aplica k-means a respuestas categóricas sin detallar encoding, escala o missingness. El texto dice «hasta k=7 según silhouette», mientras un párrafo comentado reconoce que k=2 es mejor y que k=7 no es óptimo; la figura diagnóstica está retirada. La conclusión cualitativa de estructura multivariante débil es coherente, pero los ARI exactos no son confiables.

El apéndice de muestreo contiene otro conflicto. El bloque derecho etiquetado Core reproduce exactamente los márgenes single-wave, 95/101/142/162 por edad, 266/234 por género y 197/175/128 por hogar; el bloque izquierdo etiquetado Single-Wave no coincide con ninguna muestra resumen. Sus disponibles suman 3.867 y 5.727, mientras la tabla siguiente da 4.266 Core y 5.785 Single-Wave, y ambas muestras reciben exactamente el mismo MAD y MaxD. Sin código o IDs no se sabe qué encabezado o resultados están desactualizados.

La privacidad y gobernanza requieren resolución antes de reutilizar el pipeline. El propio paper y la FAQ oficial de LISS dicen que el acceso es personal, que no se pueden distribuir copias y que cada usuario debe registrarse. El método envía background e historiales o perfiles y respuestas recuperadas derivadas de ellos a OpenAI, Google y Anthropic. Un ID numérico no vuelve anónimo un historial longitudinal rico. No se documentan autorización de Centerdata, revisión ética, DPA, retención o entrenamiento de proveedores, residencia, consentimiento, threat model o plan de incidentes. La evidencia pública no prueba una infracción, pero tampoco demuestra que ese procesamiento externo esté permitido y protegido.

La reproducibilidad pública es insuficiente. El source contiene TeX, bibliografía, prompts y 15 figuras, pero no código, entorno, inventario de variables, transformaciones, perfiles, retrieval IDs, parámetros API, outputs, reintentos, bootstraps o resultados por run. El texto dice que materiales acompañantes permiten reproducirlo y después que el repositorio llegará tras aceptación; hoy no hay repositorio enlazado ni localizado por título o ID. El estudio respalda utilidad condicionada para aproximar distribuciones en encuestados LISS de alta cobertura y muestra con honestidad fallos en respuestas raras. No respalda sustituir personas, generalizar a población/culturas, preservar estructura multivariante, declarar fairness amplio ni reproducir independientemente los números publicados.

English

The preprint evaluates when a digital persona can approximate real survey answers using the Dutch longitudinal LISS panel. It separates prior information from 2023 targets: single-wave prediction uses the latest pre-cutoff core answers to predict 2023-2024 one-off surveys, while core prediction uses the full pre-cutoff single-wave history to predict 2023 core modules. Its central strength is same-person temporal evaluation rather than plausibility or averages from another sample.

The study starts with 6,276 valid participants, 34 background variables, and 2,923 unique closed-ended questions, but evaluates two separate samples of 500. These are not random representative samples of the panel. After allocating cells by age, gender, and household stage, it selects respondents with the greatest prior and post-cutoff target-answer coverage. Using post-cutoff availability to choose cases creates a high-engagement, high-observability sample. It preserves three coarse margins rather than the full LISS distribution or all 34 background variables. The faithful description is demographically allocated, coverage-prioritized samples from a probability-based panel, not representative population samples.

Four contexts are compared: background only; a profile of up to 1,500 words generated by GPT-5.4 from the full prior history; profile plus lexical retrieval; and profile plus semantic retrieval using text-embedding-3-small. GPT-5.4, Gemini-3-Flash-Preview, and Claude Haiku 4.5 predict batches of about 20 questions. All receive GPT-5.4 profiles, so provider comparisons share an OpenAI-derived representation. The no-persona baseline uses GPT-5.4 only and queries each question 500 times, but temperature, seeds, and exact revision are not documented. Claude and Gemini have no same-model no-context baseline.

The strongest evidence is aggregate. On core prediction, the best individual exact match is 0.536 versus 0.478 for the baseline, a 5.8-point gain. On single-wave prediction it is 0.467 versus 0.445, a 2.2-point gain. Question weighted F1 rises from 0.306 to 0.444 and from 0.303 to 0.382. Distribution distances improve more: core JSD 0.530 to 0.301 and MMD 0.343 to 0.155; single-wave JSD 0.537 to 0.394 and MMD 0.292 to 0.216. Retrieval is frequently among the strongest settings, especially for core prediction, but no architecture-model pair wins every metric. The faithful conclusion is better distribution approximation, not reliable individual substitution.

The comparisons need more context. Majority, chance, previous-wave, and demographic-cell references are omitted even though they could be diagnostic without being deployable. Weighted F1 rewards common classes. MMD includes an unexplained one-half factor and omits categorical encoding, RBF bandwidth, normalization, and missingness details. The equity index measures only relative accuracy parity over age, gender, and household stage; it can be low when all groups are predicted poorly and does not establish broader fairness. Statistically tied is inferred from overlap of mean plus or minus bootstrap SE from only 100 resamples. One SE is not a confidence interval, overlap is not a paired test, and multiplicity is unaddressed.

The explanatory analysis is also overstated. Its behavioral layer uses human target-answer variability and the rarity of the respondent's real target answer. That diagnoses failures retrospectively but cannot predict prospective reliability before humans answer. The text says XGBoost always has the highest AUC, although Random Forest is higher in five of six layer-task comparisons: 0.819 versus 0.817 and 0.744 versus 0.743 for core; 0.773 versus 0.762, 0.737 versus 0.725, and 0.686 versus 0.670 for single-wave. The tables still bold XGBoost AUC. No split or cross-validation is described, and the promised AUC intervals are absent.

Clustering evidence cannot support an exact number. The overall figure and appendix text place most single-wave ARIs below 0.035 and core values up to 0.06-0.07. Tables instead report 0.044-0.316 plus a 0.067 single-wave baseline and a core value of 0.133. These cannot be the same analysis without an unreported transformation or stale result set. K-means is applied to categorical answers without specifying encoding, scale, or missingness. Active text says up to k=7 based on silhouette, while a commented paragraph concedes that k=2 is better and k=7 is not optimal; the diagnostic figure is removed. Weak multivariate recovery is qualitatively supported, but the exact ARIs are not trustworthy.

The sampling appendix has another conflict. Its right block, labelled Core, exactly reproduces single-wave margins, 95/101/142/162 by age, 266/234 by gender, and 197/175/128 by household, while the left block labelled Single-Wave matches neither headline sample. Available counts sum to 3,867 and 5,727, while the following table gives 4,266 Core and 5,785 Single-Wave eligible respondents; both samples receive identical MAD and MaxD. Without code or respondent IDs, it is impossible to identify which headings or results are stale.

Privacy and governance need resolution before this pipeline is reused. The manuscript and official LISS FAQ say access is personal, copies may not be distributed, and every user must register. The method sends background and histories, or derived profiles and retrieved answers, to OpenAI, Google, and Anthropic. A numeric identifier does not anonymize a rich longitudinal behavioral record. The paper documents no Centerdata authorization, ethics review, DPA, provider retention or training controls, residency, consent analysis, threat model, or incident plan. The public evidence does not prove a breach, but it also does not establish that external processing was permitted and protected.

Public reproducibility is insufficient. The source contains TeX, a bibliography, prompts, and 15 figures, but no code, environment, variable inventory, transformations, profiles, retrieval IDs, API parameters, outputs, retries, bootstraps, or run-level results. One passage says accompanying materials make the results reproducible; another says the repository will arrive after acceptance. No repository is linked or found by title or arXiv ID. The study supports conditional use for distribution approximation among high-coverage LISS respondents and candidly identifies failures on rare answers. It does not support replacing people, population or cross-cultural generalization, preservation of multivariate structure, broad fairness, or independent reproduction of the published numbers.

Pregunta de investigación

¿Cuándo cuatro formas de persona digital, construidas con background e historial pre-2023 de un encuestado LISS, pueden reproducir sus respuestas cerradas posteriores a nivel individual, por pregunta, distribución, equidad y clustering?

Método

Dos tareas temporales y cruzadas por dominio sobre muestras separadas de 500 encuestados LISS priorizados por cobertura. Se cruzan background, perfil GPT-5.4, perfil+retrieval léxico y perfil+retrieval semántico con GPT-5.4, Gemini-3-Flash-Preview y Claude Haiku 4.5. Se comparan seis métricas frente a un baseline GPT sin contexto y se modelan retrospectivamente los errores con regresiones y árboles.

Muestra: 6.276 elegibles globales; dos muestras distintas de 500. Se asignan cupos por edad, género y etapa del hogar y se eligen los mayores scores de cobertura previa+target dentro de cada celda. Core prediction: 132.887 pares respondent-question en el modelado explicativo. Single-wave: el N exacto de pares aparece en su tabla, pero no hay artefactos por observación.

Hallazgos

  • Core exact match: 0,478 baseline frente a 0,536 mejor persona, +5,8 pp.
  • Single-wave exact match: 0,445 frente a 0,467, +2,2 pp.
  • Core JSD mejora 0,530→0,301 y MMD 0,343→0,155.
  • Single-wave JSD mejora 0,537→0,394 y MMD 0,292→0,216.
  • F1 ponderado mejora 0,306→0,444 en core y 0,303→0,382 en single-wave.
  • Retrieval suele ser competitivo, pero no existe ganador universal.
  • Preguntas de baja variabilidad y patrones comunes son más fáciles en el análisis retrospectivo.
  • La estructura multivariante parece débil, pero tabla y figura ARI son incompatibles.
  • Random Forest supera el AUC XGBoost en cinco de seis comparaciones pese al claim contrario.
  • La tabla de asignación no coincide con sus encabezados, márgenes ni totales reportados.

Limitaciones

  • Preprint arXiv v1 sin aceptación revisada por pares establecida.
  • Muestras seleccionadas por alta cobertura, no aleatorias ni representativas de población.
  • Sólo 500 casos por tarea, panel holandés y preguntas cerradas.
  • Baseline sin contexto exclusivo de GPT; Claude y Gemini no tienen control del mismo modelo.
  • Sin majority, chance, prior-wave o demographic-cell reference baselines.
  • Sin temperaturas, seeds, revisiones exactas o fechas de ejecución de APIs.
  • Todos los perfiles proceden de GPT-5.4 y retrieval semántico de OpenAI.
  • Retrieval no audita duplicados o preguntas casi equivalentes entre historia y target.
  • ±SE y solape de intervalos no justifican statistically tied.
  • Weighted F1 puede ocultar clases raras.
  • MMD carece de encoding, bandwidth, escala y missingness reproducibles.
  • Equity relativo y limitado a tres dimensiones no demuestra fairness.
  • Behavioral error model consume estadísticas del target humano.
  • Sin split/cross-validation descrito para modelos explicativos.
  • Claim XGBoost contradicho por cinco AUC de Random Forest.
  • ARI de tablas contradice figura y texto.
  • k-means categórico y elección de k insuficientemente definidos.
  • Tabla de muestreo y estadísticas MAD/MaxD internamente incompatibles.
  • Gobernanza de datos enviados a tres APIs no documentada.
  • Sin código, entorno, datos derivados, outputs o runs públicos.

Qué no demuestra

  • Sustitución fiable de encuestados individuales.
  • Representatividad de la población neerlandesa o de todos los miembros LISS.
  • Rendimiento en participantes con poca historia o alta no respuesta.
  • Generalización a otros países, lenguas, culturas o preguntas abiertas.
  • Que retrieval capture personalidad y no memoria de preguntas relacionadas.
  • Superioridad causal de una arquitectura o proveedor.
  • Conservación cuantificada de estructura multivariante.
  • Fairness para grupos raros o dimensiones no evaluadas.
  • Predicción prospectiva de fiabilidad usando la capa behavioral.
  • Validez de sustituir humanos en inferencia científica o políticas.
  • Cumplimiento autorizado del procesamiento por APIs externas.
  • Reproducción independiente de resultados y conflictos tabulares.
  • Aceptación en NeurIPS 2026.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.10659v1

Fuente consultada: https://arxiv.org/abs/2605.10659v1

Revisión: Codex 32-page visual full-text, complete TeX, sampling arithmetic, table-figure, metric, baseline, privacy-governance and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-5.4 for profile generation and prediction
  • Gemini-3-Flash-Preview
  • Claude Haiku 4.5
  • OpenAI text-embedding-3-small
  • Logistic regression and mixed-effects logistic regression
  • Decision tree, Random Forest and XGBoost explanatory models

Instrumentos y métricas

  • Same-person temporal holdout prediction
  • GPT-generated seven-section profiles
  • Lexical top-K and embedding top-K retrieval
  • Respondent exact match and question weighted F1
  • Question-distribution Jensen-Shannon distance
  • RBF-kernel maximum mean discrepancy
  • Demographic parity accuracy-ratio deviation
  • K-means plus Adjusted Rand Index
  • Respondent bootstrap with N=100 resamples
  • SHAP explanatory feature analysis

Datos utilizados

  • LISS panel background file
  • Pre-2023 LISS core-study histories
  • Pre-2023 LISS single-wave histories
  • 2023 LISS core-study targets
  • 2023-2024 LISS single-wave targets
  • Author-derived profiles and retrieval indexes, not publicly released

Evidencia y localización

  • Texto, tablas, figuras, prompts, métricas, muestreo, costes y límites: arXiv:2605.10659v1; PDF sha256 b4ebc6221905c2825ce457d56f22c225c0b716776ff7ebe7f6ec7ae3285bb125; TeX sha256 8b68a93a218dd2228a8662feab1a2a264c25fb6166cee80d5c2becda2bc1a1ed
  • Reglas oficiales de acceso y no redistribución LISS: https://www.lissdata.nl/faq and manuscript Data Use and License Statement
  • Recalculos, conflictos de sampling, AUC, ARI, baseline, privacidad y reproducibilidad: reports/verification/article-342-liss-digital-persona-sampling-baseline-clustering-table-privacy-and-reproducibility-audit.json