Anamnesis: An Open-Source Platform for Large-Scale Backstory-Conditioned Survey Simulation

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Song-Ze Yu, Joseph Suh, Serina Chang, David M. Chan

Palabras clave: Survey simulation, Virtual personas, Narrative backstories, Probabilistic demographic matching, Human alignment, Multimodal surveys, Research platform

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
12
Hallazgos
21
Limitaciones
6
Evidencias

Resumen editorial

Español

Anamnesis es un artículo de sistema, todavía en arXiv v1, sobre una plataforma web de código abierto para construir encuestas y ejecutarlas con participantes virtuales condicionados por historias de vida sintéticas. No crea réplicas de personas reales ni demuestra que un LLM posea una personalidad humana. La aplicación integra preguntas de opción única, selección múltiple, respuesta abierta, ranking, imagen y audio; un backend Supabase; una cola RabbitMQ; y workers que consultan a un modelo. El modo Anthology antepone una narración completa y acumula las respuestas anteriores de la misma persona virtual. El control zero-shot usa una descripción demográfica breve. Si la salida no cumple el formato, otro LLM puede convertirla en una letra, introduciendo una segunda dependencia de modelo que puede afectar el resultado.

La base descrita contiene 34.907 historias sintéticas en inglés. Sus atributos demográficos no son observados ni autodeclarados: otro LLM estima distribuciones de probabilidad. Top-K suma las categorías elegidas por dimensión, multiplica entre dimensiones y selecciona las puntuaciones más altas; el modo balanceado crea cuotas por combinaciones y aplica asignación húngara sobre los 50 mejores candidatos de cada celda. Esto controla la muestra respecto a predicciones del propio modelo, pero no garantiza identidades correctas, probabilidades calibradas ni representatividad censal. La multiplicación supone independencia y puede distorsionar combinaciones interseccionales. En modo logprobs, si el código no reconoce ningún token de opción, sustituye el fallo por una distribución uniforme que puede parecer incertidumbre válida. Por tanto, demográficamente controlable no significa población estadísticamente representativa.

El primer caso reproduce parte de Anthology con LLaMA-3.1-8B, 20 preguntas seleccionadas de tres olas del American Trends Panel y miles de personas virtuales. Mide distancia de Wasserstein entre distribuciones y norma de Frobenius entre matrices de correlación; menor es mejor. La variante de peso máximo mejora a BIO y QA en las seis celdas: en la ola 34 obtiene 0,160/0,837 frente al mejor baseline 0,235/1,481; en la 92, 0,251/1,603 frente a 0,346/1,719; y en la 99, 0,148/1,026 frente a 0,180/1,229. Greedy mejora cinco de seis comparaciones contra el mejor baseline, pero su Frobenius 1,352 en la ola 99 es peor que 1,229 de BIO. Todas las variantes siguen claramente por detrás de la fila humana (0,057/0,418; 0,091/0,411; 0,081/0,327). No se informan intervalos, variación entre ejecuciones, múltiples modelos, análisis por subgrupo o pregunta, criterio completo de selección ni prueba de contaminación.

El segundo caso usa 49 concursos de viñetas, Gemini 2.5 Flash a temperatura 1,0 y 20 elecciones por concurso. Anthology acierta el ganador humano en 29/49 casos (59,2%; IC Wilson 45,2–71,8) y zero-shot en 25/49 (51,0%; 37,5–64,4): cuatro concursos más, con intervalos solapados. El artículo dice aplicar McNemar exacto pero no publica su p-valor ni la tabla de pares discordantes. La cuota de voto al ganador humano sube de 52,0% a 59,8%, +7,8 puntos (IC bootstrap 3,2–12,8; prueba de signos exacta p=0,0024). Esto muestra mayor acuerdo agregado con ese benchmark, no comprensión general del humor ni fidelidad individual.

El código de aplicación es realmente público y AGPL, pero la evidencia no es reproducible de extremo a extremo. La rama principal no incluye la instantánea enriquecida de 34.907 personas, datos ATP/viñetas, configuraciones, semillas, salidas ni scripts que recompongan las tablas. Los datasets públicos contienen 11.364 historias Anthology y 41.053 Alterity, solo texto, no las probabilidades usadas. El frontend compila, pero la auditoría encontró 27 errores de lint, 60/128 pruebas frontend fallidas en el entorno comprobado, una colección pytest rota y dos fallos adicionales entre las 256 pruebas restantes; npm audit detectó tres vulnerabilidades altas de producción. Más grave: funciones SQL SECURITY DEFINER que leen claves API descifradas o cambian tareas no revocan EXECUTE a PUBLIC ni comprueban propiedad, y las funciones de medios verifican autenticación pero no pertenencia del objeto. No se probaron estos fallos contra producción ni se accedió a datos. La web es clara, responsive y usa landmarks y enlace de salto, pero el titular animado expone frases incompletas, la navegación móvil oculta casi todos los enlaces sin menú y el registro carece de política de privacidad o términos. En conjunto, Anamnesis es un prototipo abierto útil con una interfaz real y mejoras relativas en dos casos acotados; no valida participantes sintéticos representativos ni una alternativa lista para sustituir estudios humanos.

English

Anamnesis is an arXiv v1 system paper about an open-source web platform for building surveys and running them with virtual participants conditioned on synthetic life narratives. It does not create replicas of real people or show that an LLM has a human personality. The application combines single-choice, multi-select, open-response, ranking, image and audio questions; Supabase storage; a RabbitMQ queue; and model-calling workers. Anthology mode prepends a full narrative and accumulates the same virtual persona's earlier answers. The zero-shot control uses a short demographic description. When output is noncompliant, another LLM can convert it to an option letter, adding a second model dependency that can affect results.

The reported database contains 34,907 synthetic English backstories. Their demographic attributes are neither observed nor self-reported: another LLM estimates probability distributions. Top-K sums selected category probabilities within each dimension, multiplies across dimensions and takes the highest scores; balanced mode creates quotas for demographic combinations and runs Hungarian assignment over the 50 highest-scoring candidates per cell. This controls selection relative to the model's own predictions, but does not establish correct identities, calibrated probabilities or census representativeness. Multiplication assumes independence and can distort intersectional combinations. In logprobs mode, if the code recognizes no option token, it replaces the failure with a uniform distribution that can look like valid uncertainty. Demographically controllable therefore does not mean statistically representative population.

The first case reproduces part of Anthology using LLaMA-3.1-8B, 20 selected questions from three American Trends Panel waves, and thousands of virtual respondents. It uses Wasserstein distance between response distributions and Frobenius norm between correlation matrices; lower is better. Max-weight Anamnesis beats BIO and QA in all six table cells: Wave 34 is 0.160/0.837 versus the best baseline's 0.235/1.481; Wave 92 is 0.251/1.603 versus 0.346/1.719; and Wave 99 is 0.148/1.026 versus 0.180/1.229. Greedy improves five of six comparisons with the best baseline, but its 1.352 Wave 99 Frobenius value is worse than BIO's 1.229. Every Anamnesis configuration remains clearly behind the Human row (0.057/0.418; 0.091/0.411; 0.081/0.327). The paper provides no intervals, run-to-run variation, multiple-model evaluation, subgroup/item analysis, complete selection rule or contamination test.

The second case uses 49 cartoon-caption contests, Gemini 2.5 Flash at temperature 1.0 and 20 choices per contest. Anthology identifies the human winner in 29/49 contests (59.2%; Wilson interval 45.2–71.8) and zero-shot in 25/49 (51.0%; 37.5–64.4): four additional contests with overlapping intervals. The paper says it uses exact McNemar testing but omits its p-value and discordant-pair table. Vote share for the human winner rises from 52.0% to 59.8%, a 7.8-point gain (paired bootstrap interval 3.2–12.8; exact sign-flip p=0.0024). This supports greater aggregate agreement with that benchmark, not general humor understanding or individual fidelity.

The application code is genuinely public and AGPL, but the evidence is not reproducible end to end. Main does not contain the exact enriched 34,907-person snapshot, ATP/caption inputs, run configurations, seeds, model outputs or scripts that regenerate the tables. Public datasets contain 11,364 Anthology and 41,053 Alterity backstories as text only, without the demographic probabilities used. The frontend builds, but the audit found 27 lint errors, 60/128 failing frontend tests in the checked environment, a broken pytest collection and two further failures among the remaining 256 tests; npm audit found three high-severity production vulnerabilities. More seriously, SECURITY DEFINER SQL functions that read decrypted API keys or mutate work do not revoke EXECUTE from PUBLIC or check ownership, and media functions verify authentication but not object ownership. These issues were not exercised against production and no data was accessed. The public site is clear, responsive and uses landmarks and a skip link, but its animated heading exposes partial phrases, mobile navigation hides most links without a menu, and registration offers no privacy or terms links. Overall, Anamnesis is a useful open prototype with a real interface and relative gains in two bounded cases; it does not validate representative synthetic participants or a ready replacement for human studies.

Pregunta de investigación

¿Puede una plataforma web de código abierto operacionalizar el condicionamiento por historias narrativas, el muestreo demográfico probabilístico y la ejecución distribuida de encuestas, y reproducir mejor que prompts demográficos dos patrones agregados de datos humanos?

Método

Artículo de sistema con dos casos. ATP ejecuta LLaMA-3.1-8B sobre 20 preguntas seleccionadas de las olas 34, 92 y 99 y compara BIO, QA, Anamnesis con peso máximo, Anamnesis greedy y una referencia humana mediante Wasserstein y Frobenius. El caso multimodal usa 49 concursos de viñetas, Gemini 2.5 Flash, temperatura 1,0 y 20 elecciones por concurso; compara exactitud mayoritaria con intervalos Wilson y cuota de voto con bootstrap pareado y prueba de signos.

Muestra: Dos evaluaciones acotadas: 20 preguntas de tres olas ATP ejecutadas con miles de personas virtuales y comparadas con distribuciones humanas; y 49 concursos de viñetas con 20 elecciones sintéticas por condición. La base operativa se describe como 34.907 historias generadas, no como personas humanas observadas.

Hallazgos

  • Anamnesis implementa construcción, selección, ejecución distribuida, seguimiento y análisis de encuestas textuales y multimodales.
  • Las historias son sintéticas y sus demografías son probabilidades inferidas por un LLM, no etiquetas observadas.
  • La variante ATP de peso máximo mejora a BIO y QA en las seis combinaciones de ola y métrica.
  • Greedy mejora cinco de seis comparaciones contra el mejor baseline; en Frobenius de la ola 99 queda por detrás de BIO.
  • Todas las métricas de Anamnesis permanecen por detrás de la referencia humana.
  • En viñetas, Anthology acierta 29/49 ganadores y zero-shot 25/49; los intervalos Wilson se solapan.
  • La cuota media del ganador humano sube 7,8 puntos, de 52,0% a 59,8%, con IC 3,2–12,8 y p=0,0024.
  • El código de aplicación es público bajo AGPL y permite inspeccionar frontend, base de datos, cola y workers.
  • Los datos y scripts necesarios para reproducir las dos evaluaciones no están en la rama principal.
  • Los datasets públicos de historias no contienen las probabilidades demográficas de la base de 34.907 casos.
  • La web es visualmente clara, pero comunica representatividad con más fuerza que sus límites empíricos.
  • La auditoría estática identifica fallos graves de autorización que deben corregirse antes de tratar datos o claves de usuarios.

Limitaciones

  • Es un preprint arXiv v1 de nueve páginas, no una publicación archivística revisada por pares.
  • La simulación está limitada por la diversidad y sesgos del conjunto de historias generado por LLM.
  • Las demografías inferidas no se calibran ni validan contra etiquetas observadas.
  • Multiplicar probabilidades por dimensión supone independencia y puede fallar para identidades interseccionales.
  • El fallback de logprobs convierte ausencia de tokens válidos en una distribución uniforme.
  • ATP usa solo 20 preguntas seleccionadas y no documenta por completo su regla de selección.
  • Detalles de matching y métricas ATP se delegan al artículo Anthology anterior.
  • No se muestran intervalos, semillas, variación entre ejecuciones ni múltiples modelos para ATP.
  • No hay análisis por pregunta, subgrupo, estereotipo, calibración o equidad.
  • La evaluación de viñetas contiene solo 49 ítems y un modelo multimodal.
  • No se publica el p-valor de McNemar ni la tabla de pares discordantes.
  • El ganador del concurso es una preferencia colectiva, no una verdad universal sobre humor.
  • Las historias y simulaciones son exclusivamente en inglés.
  • Las personas virtuales son estáticas y los modelos multimodales pueden omitir matices humanos.
  • No se publica la instantánea enriquecida de 34.907 historias ni su selección exacta.
  • No se publican entradas, salidas, configuraciones, semillas o scripts analíticos de los casos.
  • Las suites frontend y worker no están verdes y el lint contiene 27 errores.
  • Las dependencias de producción presentan tres hallazgos npm de severidad alta.
  • Funciones SECURITY DEFINER y de medios carecen de controles suficientes de ejecución o propiedad.
  • El registro público no ofrece política de privacidad, términos, retención o borrado de cuenta.
  • La navegación móvil oculta enlaces sin menú y el H1 animado produce texto parcial.

Qué no demuestra

  • Que las 34.907 historias sintéticas sean personas representativas de un censo
  • Que una probabilidad demográfica inferida sea una identidad observada o autodeclarada
  • Que la asignación húngara garantice representatividad demográfica real
  • Que la muestra sea estadísticamente representativa de una población objetivo
  • Que toda configuración Anamnesis supere a todo baseline en todas las métricas
  • Que Anamnesis alcance la referencia humana en alguna ola ATP
  • Que mejorar métricas agregadas implique fidelidad a individuos concretos
  • Que 49 concursos demuestren comprensión general del humor humano
  • Que participantes sintéticos puedan sustituir a sujetos humanos en investigación
  • Que los resultados generalicen a otros modelos, idiomas, culturas o dominios sensibles
  • Que las evaluaciones puedan reproducirse de extremo a extremo desde la rama principal
  • Que los datasets públicos contengan la base enriquecida exacta
  • Que el código tenga gates verdes de pruebas, lint, dependencias y autorización
  • Que el flujo público tenga un marco documentado de privacidad o ética
  • Que publicar el código de aplicación haga por sí sola reproducible la evidencia

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2607.10628v1; 9-page preprint; repository commit 31a0d7df44966e8618b82ff0492c1c397832cdbc; live platform and Hugging Face source datasets checked 2026-07-16

Fuente consultada: https://arxiv.org/abs/2607.10628v1

Revisión: Codex 9-page full-text visual, arXiv metadata, platform architecture, GitHub code/test/CI/dependency/security, live desktop/mobile UI and Hugging Face dataset audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • LLaMA-3.1-8B
  • Gemini 2.5 Flash
  • Modelos configurables mediante OpenRouter o vLLM
  • LLM parser de respaldo configurable

Instrumentos y métricas

  • Historias narrativas sintéticas Anthology/Alterity
  • Condicionamiento secuencial con acumulación de contexto
  • Prompt demográfico zero-shot
  • Ranking top-K por probabilidades inferidas
  • Asignación húngara con cuotas demográficas
  • Distancia de Wasserstein
  • Norma de Frobenius entre matrices de correlación
  • Intervalo de Wilson
  • Prueba exacta de McNemar
  • Bootstrap pareado
  • Prueba exacta de signos

Datos utilizados

  • Base declarada: 34.907 historias sintéticas en inglés con distribuciones demográficas inferidas; instantánea exacta no publicada
  • American Trends Panel olas 34 (n=2.537), 92 (n=10.916) y 99 (n=10.260); 20 preguntas seleccionadas
  • New Yorker Caption Contest Benchmarks: 49 concursos con imagen
  • Hugging Face anthology_backstory: 11.364 filas; alterity_backstory: 41.053 filas

Evidencia y localización

  • Arquitectura, algoritmos, casos, resultados, apéndices y limitaciones: arXiv:2607.10628v1 PDF, 9 pages; every page rendered and visually inspected
  • Fecha, versión, autores y categorías oficiales: Official arXiv record and export API for 2607.10628v1
  • Implementación, pruebas, CI, dependencias, SQL, seguridad y artefactos ausentes: DavidMChan/Anamnesis at 31a0d7df44966e8618b82ff0492c1c397832cdbc
  • UI/UX, navegación responsive, alta y transparencia pública: simulate.group live site and production bundle checked 2026-07-16
  • Tamaño, columnas, idioma y licencia de datasets fuente: Hugging Face Dataset Viewer metadata for anthology_backstory and alterity_backstory checked 2026-07-16
  • Auditoría consolidada de validez, evaluación, código, seguridad y UX: reports/verification/article-275-anamnesis-platform-demographic-validity-evaluation-code-security-and-ux-audit.json