When Can Digital Personas Reliably Approximate Human Survey Findings?

The preprint evaluates when a digital persona can approximate real survey answers using the Dutch longitudinal LISS panel. It separates prior information from 2023 targets: single-wave prediction uses the latest pre-cutoff core answers to predict 2023-2024 one-off surveys, while core prediction uses the full pre-cutoff single-wave history to predict 2023 core modules. Its central strength is same-person temporal evaluation rather than plausibility or averages from another sample.

The study starts with 6,276 valid participants, 34 background variables, and 2,923 unique closed-ended questions, but evaluates two separate samples of 500. These are not random representative samples of the panel. After allocating cells by age, gender, and household stage, it selects respondents with the greatest prior and post-cutoff target-answer coverage. Using post-cutoff availability to choose cases creates a high-engagement, high-observability sample. It preserves three coarse margins rather than the full LISS distribution or all 34 background variables. The faithful description is demographically allocated, coverage-prioritized samples from a probability-based panel, not representative population samples.

Four contexts are compared: background only; a profile of up to 1,500 words generated by GPT-5.4 from the full prior history; profile plus lexical retrieval; and profile plus semantic retrieval using text-embedding-3-small. GPT-5.4, Gemini-3-Flash-Preview, and Claude Haiku 4.5 predict batches of about 20 questions. All receive GPT-5.4 profiles, so provider comparisons share an OpenAI-derived representation. The no-persona baseline uses GPT-5.4 only and queries each question 500 times, but temperature, seeds, and exact revision are not documented. Claude and Gemini have no same-model no-context baseline.

The strongest evidence is aggregate. On core prediction, the best individual exact match is 0.536 versus 0.478 for the baseline, a 5.8-point gain. On single-wave prediction it is 0.467 versus 0.445, a 2.2-point gain. Question weighted F1 rises from 0.306 to 0.444 and from 0.303 to 0.382. Distribution distances improve more: core JSD 0.530 to 0.301 and MMD 0.343 to 0.155; single-wave JSD 0.537 to 0.394 and MMD 0.292 to 0.216. Retrieval is frequently among the strongest settings, especially for core prediction, but no architecture-model pair wins every metric. The faithful conclusion is better distribution approximation, not reliable individual substitution.

The comparisons need more context. Majority, chance, previous-wave, and demographic-cell references are omitted even though they could be diagnostic without being deployable. Weighted F1 rewards common classes. MMD includes an unexplained one-half factor and omits categorical encoding, RBF bandwidth, normalization, and missingness details. The equity index measures only relative accuracy parity over age, gender, and household stage; it can be low when all groups are predicted poorly and does not establish broader fairness. Statistically tied is inferred from overlap of mean plus or minus bootstrap SE from only 100 resamples. One SE is not a confidence interval, overlap is not a paired test, and multiplicity is unaddressed.

The explanatory analysis is also overstated. Its behavioral layer uses human target-answer variability and the rarity of the respondent's real target answer. That diagnoses failures retrospectively but cannot predict prospective reliability before humans answer. The text says XGBoost always has the highest AUC, although Random Forest is higher in five of six layer-task comparisons: 0.819 versus 0.817 and 0.744 versus 0.743 for core; 0.773 versus 0.762, 0.737 versus 0.725, and 0.686 versus 0.670 for single-wave. The tables still bold XGBoost AUC. No split or cross-validation is described, and the promised AUC intervals are absent.

Clustering evidence cannot support an exact number. The overall figure and appendix text place most single-wave ARIs below 0.035 and core values up to 0.06-0.07. Tables instead report 0.044-0.316 plus a 0.067 single-wave baseline and a core value of 0.133. These cannot be the same analysis without an unreported transformation or stale result set. K-means is applied to categorical answers without specifying encoding, scale, or missingness. Active text says up to k=7 based on silhouette, while a commented paragraph concedes that k=2 is better and k=7 is not optimal; the diagnostic figure is removed. Weak multivariate recovery is qualitatively supported, but the exact ARIs are not trustworthy.

The sampling appendix has another conflict. Its right block, labelled Core, exactly reproduces single-wave margins, 95/101/142/162 by age, 266/234 by gender, and 197/175/128 by household, while the left block labelled Single-Wave matches neither headline sample. Available counts sum to 3,867 and 5,727, while the following table gives 4,266 Core and 5,785 Single-Wave eligible respondents; both samples receive identical MAD and MaxD. Without code or respondent IDs, it is impossible to identify which headings or results are stale.

Privacy and governance need resolution before this pipeline is reused. The manuscript and official LISS FAQ say access is personal, copies may not be distributed, and every user must register. The method sends background and histories, or derived profiles and retrieved answers, to OpenAI, Google, and Anthropic. A numeric identifier does not anonymize a rich longitudinal behavioral record. The paper documents no Centerdata authorization, ethics review, DPA, provider retention or training controls, residency, consent analysis, threat model, or incident plan. The public evidence does not prove a breach, but it also does not establish that external processing was permitted and protected.

Public reproducibility is insufficient. The source contains TeX, a bibliography, prompts, and 15 figures, but no code, environment, variable inventory, transformations, profiles, retrieval IDs, API parameters, outputs, retries, bootstraps, or run-level results. One passage says accompanying materials make the results reproducible; another says the repository will arrive after acceptance. No repository is linked or found by title or arXiv ID. The study supports conditional use for distribution approximation among high-coverage LISS respondents and candidly identifies failures on rare answers. It does not support replacing people, population or cross-cultural generalization, preservation of multivariate structure, broad fairness, or independent reproduction of the published numbers.

El preprint evalúa cuándo una persona digital puede aproximar respuestas de encuesta reales usando el panel longitudinal holandés LISS. Separa información previa y targets en 2023: en single-wave prediction usa la última respuesta previa de módulos core para predecir encuestas puntuales de 2023-2024; en core prediction usa todo el historial previo de encuestas puntuales para predecir módulos core de 2023. La fortaleza principal es que compara la predicción con respuestas posteriores de la misma persona, no con plausibilidad o promedios de otra muestra.

Parte de 6.276 participantes válidos, 34 variables de background y 2.923 preguntas cerradas únicas, pero evalúa dos muestras separadas de 500. No son muestras aleatorias representativas del panel: tras asignar cupos por edad, género y etapa del hogar, selecciona dentro de cada celda a quienes tienen más respuestas previas y más targets posteriores. Usar disponibilidad post-cutoff para escoger casos produce una muestra de alta participación y observabilidad. Mantiene tres márgenes gruesos, no la distribución completa de LISS ni de las 34 variables. La fórmula fiel es «muestras demográficamente asignadas y priorizadas por cobertura dentro de un panel probabilístico», no «muestras poblacionales representativas».

Compara cuatro contextos: background; un perfil de hasta 1.500 palabras generado por GPT-5.4 desde todo el historial; perfil más retrieval léxico; y perfil más retrieval semántico con text-embedding-3-small. GPT-5.4, Gemini-3-Flash-Preview y Claude Haiku 4.5 predicen bloques de unas 20 preguntas. Todos reciben perfiles GPT-5.4; por ello, las comparaciones de proveedor comparten una representación OpenAI. El baseline sin persona sólo usa GPT-5.4 y consulta cada pregunta 500 veces, pero no documenta temperatura, seeds o revisión exacta. Claude y Gemini carecen de baseline sin contexto del mismo modelo.

La evidencia más sólida es agregada. En core, el mejor exact match individual es 0,536 frente a 0,478 del baseline: +5,8 puntos. En single-wave es 0,467 frente a 0,445: +2,2. El F1 ponderado por pregunta sube 0,306→0,444 y 0,303→0,382. Las distancias de distribución mejoran más: JSD 0,530→0,301 y MMD 0,343→0,155 en core; JSD 0,537→0,394 y MMD 0,292→0,216 en single-wave. Retrieval aparece con frecuencia entre los mejores settings, sobre todo en core, pero no hay un ganador universal por modelo, arquitectura y métrica. La lectura correcta es mejor aproximación de distribuciones, no sustitución fiable de individuos.

Las comparaciones necesitan más contexto. No se publican majority, chance, previous-wave o demographic-cell baselines, aunque podrían servir como referencias descriptivas sin ser deployables. Weighted F1 favorece clases frecuentes. MMD usa un factor 1/2 no explicado y no especifica encoding categórico, bandwidth RBF, normalización o missingness. El índice de equity mide sólo paridad relativa de accuracy para edad, género y hogar; puede ser bajo aunque todos los grupos estén mal predichos y no cubre otras desigualdades. «Statistically tied» se decide por solape de media ± bootstrap SE con sólo 100 resamples: ±1 SE no es un intervalo de confianza ni el solape una prueba pareada, y no hay control por multiplicidad.

El análisis explicativo también está sobrepresentado. La capa behavioral usa variabilidad humana de la pregunta y rareza de la respuesta real calculadas con el target; explica errores retrospectivamente, pero no predice fiabilidad prospectiva sin encuestar antes a humanos. El texto afirma que XGBoost obtiene siempre el mayor AUC, aunque Random Forest lo supera en cinco de seis comparaciones: 0,819>0,817 y 0,744>0,743 en core; 0,773>0,762, 0,737>0,725 y 0,686>0,670 en single-wave. Las tablas aun así ponen AUC de XGBoost en negrita. No se describe split o cross-validation y no aparecen los intervalos AUC prometidos.

La evidencia de clustering no admite cifra definitiva. La figura overall y su texto sitúan la mayoría de ARI single-wave por debajo de 0,035 y core hasta 0,06-0,07. Las tablas dan single-wave 0,044-0,316 y baseline 0,067, y core hasta 0,133. No pueden ser el mismo cálculo sin una transformación o versión no explicada. Se aplica k-means a respuestas categóricas sin detallar encoding, escala o missingness. El texto dice «hasta k=7 según silhouette», mientras un párrafo comentado reconoce que k=2 es mejor y que k=7 no es óptimo; la figura diagnóstica está retirada. La conclusión cualitativa de estructura multivariante débil es coherente, pero los ARI exactos no son confiables.

El apéndice de muestreo contiene otro conflicto. El bloque derecho etiquetado Core reproduce exactamente los márgenes single-wave, 95/101/142/162 por edad, 266/234 por género y 197/175/128 por hogar; el bloque izquierdo etiquetado Single-Wave no coincide con ninguna muestra resumen. Sus disponibles suman 3.867 y 5.727, mientras la tabla siguiente da 4.266 Core y 5.785 Single-Wave, y ambas muestras reciben exactamente el mismo MAD y MaxD. Sin código o IDs no se sabe qué encabezado o resultados están desactualizados.

La privacidad y gobernanza requieren resolución antes de reutilizar el pipeline. El propio paper y la FAQ oficial de LISS dicen que el acceso es personal, que no se pueden distribuir copias y que cada usuario debe registrarse. El método envía background e historiales o perfiles y respuestas recuperadas derivadas de ellos a OpenAI, Google y Anthropic. Un ID numérico no vuelve anónimo un historial longitudinal rico. No se documentan autorización de Centerdata, revisión ética, DPA, retención o entrenamiento de proveedores, residencia, consentimiento, threat model o plan de incidentes. La evidencia pública no prueba una infracción, pero tampoco demuestra que ese procesamiento externo esté permitido y protegido.

La reproducibilidad pública es insuficiente. El source contiene TeX, bibliografía, prompts y 15 figuras, pero no código, entorno, inventario de variables, transformaciones, perfiles, retrieval IDs, parámetros API, outputs, reintentos, bootstraps o resultados por run. El texto dice que materiales acompañantes permiten reproducirlo y después que el repositorio llegará tras aceptación; hoy no hay repositorio enlazado ni localizado por título o ID. El estudio respalda utilidad condicionada para aproximar distribuciones en encuestados LISS de alta cobertura y muestra con honestidad fallos en respuestas raras. No respalda sustituir personas, generalizar a población/culturas, preservar estructura multivariante, declarar fairness amplio ni reproducir independientemente los números publicados.