Anamnesis: An Open-Source Platform for Large-Scale Backstory-Conditioned Survey Simulation

Anamnesis is an arXiv v1 system paper about an open-source web platform for building surveys and running them with virtual participants conditioned on synthetic life narratives. It does not create replicas of real people or show that an LLM has a human personality. The application combines single-choice, multi-select, open-response, ranking, image and audio questions; Supabase storage; a RabbitMQ queue; and model-calling workers. Anthology mode prepends a full narrative and accumulates the same virtual persona's earlier answers. The zero-shot control uses a short demographic description. When output is noncompliant, another LLM can convert it to an option letter, adding a second model dependency that can affect results.

The reported database contains 34,907 synthetic English backstories. Their demographic attributes are neither observed nor self-reported: another LLM estimates probability distributions. Top-K sums selected category probabilities within each dimension, multiplies across dimensions and takes the highest scores; balanced mode creates quotas for demographic combinations and runs Hungarian assignment over the 50 highest-scoring candidates per cell. This controls selection relative to the model's own predictions, but does not establish correct identities, calibrated probabilities or census representativeness. Multiplication assumes independence and can distort intersectional combinations. In logprobs mode, if the code recognizes no option token, it replaces the failure with a uniform distribution that can look like valid uncertainty. Demographically controllable therefore does not mean statistically representative population.

The first case reproduces part of Anthology using LLaMA-3.1-8B, 20 selected questions from three American Trends Panel waves, and thousands of virtual respondents. It uses Wasserstein distance between response distributions and Frobenius norm between correlation matrices; lower is better. Max-weight Anamnesis beats BIO and QA in all six table cells: Wave 34 is 0.160/0.837 versus the best baseline's 0.235/1.481; Wave 92 is 0.251/1.603 versus 0.346/1.719; and Wave 99 is 0.148/1.026 versus 0.180/1.229. Greedy improves five of six comparisons with the best baseline, but its 1.352 Wave 99 Frobenius value is worse than BIO's 1.229. Every Anamnesis configuration remains clearly behind the Human row (0.057/0.418; 0.091/0.411; 0.081/0.327). The paper provides no intervals, run-to-run variation, multiple-model evaluation, subgroup/item analysis, complete selection rule or contamination test.

The second case uses 49 cartoon-caption contests, Gemini 2.5 Flash at temperature 1.0 and 20 choices per contest. Anthology identifies the human winner in 29/49 contests (59.2%; Wilson interval 45.2–71.8) and zero-shot in 25/49 (51.0%; 37.5–64.4): four additional contests with overlapping intervals. The paper says it uses exact McNemar testing but omits its p-value and discordant-pair table. Vote share for the human winner rises from 52.0% to 59.8%, a 7.8-point gain (paired bootstrap interval 3.2–12.8; exact sign-flip p=0.0024). This supports greater aggregate agreement with that benchmark, not general humor understanding or individual fidelity.

The application code is genuinely public and AGPL, but the evidence is not reproducible end to end. Main does not contain the exact enriched 34,907-person snapshot, ATP/caption inputs, run configurations, seeds, model outputs or scripts that regenerate the tables. Public datasets contain 11,364 Anthology and 41,053 Alterity backstories as text only, without the demographic probabilities used. The frontend builds, but the audit found 27 lint errors, 60/128 failing frontend tests in the checked environment, a broken pytest collection and two further failures among the remaining 256 tests; npm audit found three high-severity production vulnerabilities. More seriously, SECURITY DEFINER SQL functions that read decrypted API keys or mutate work do not revoke EXECUTE from PUBLIC or check ownership, and media functions verify authentication but not object ownership. These issues were not exercised against production and no data was accessed. The public site is clear, responsive and uses landmarks and a skip link, but its animated heading exposes partial phrases, mobile navigation hides most links without a menu, and registration offers no privacy or terms links. Overall, Anamnesis is a useful open prototype with a real interface and relative gains in two bounded cases; it does not validate representative synthetic participants or a ready replacement for human studies.

Anamnesis es un artículo de sistema, todavía en arXiv v1, sobre una plataforma web de código abierto para construir encuestas y ejecutarlas con participantes virtuales condicionados por historias de vida sintéticas. No crea réplicas de personas reales ni demuestra que un LLM posea una personalidad humana. La aplicación integra preguntas de opción única, selección múltiple, respuesta abierta, ranking, imagen y audio; un backend Supabase; una cola RabbitMQ; y workers que consultan a un modelo. El modo Anthology antepone una narración completa y acumula las respuestas anteriores de la misma persona virtual. El control zero-shot usa una descripción demográfica breve. Si la salida no cumple el formato, otro LLM puede convertirla en una letra, introduciendo una segunda dependencia de modelo que puede afectar el resultado.

La base descrita contiene 34.907 historias sintéticas en inglés. Sus atributos demográficos no son observados ni autodeclarados: otro LLM estima distribuciones de probabilidad. Top-K suma las categorías elegidas por dimensión, multiplica entre dimensiones y selecciona las puntuaciones más altas; el modo balanceado crea cuotas por combinaciones y aplica asignación húngara sobre los 50 mejores candidatos de cada celda. Esto controla la muestra respecto a predicciones del propio modelo, pero no garantiza identidades correctas, probabilidades calibradas ni representatividad censal. La multiplicación supone independencia y puede distorsionar combinaciones interseccionales. En modo logprobs, si el código no reconoce ningún token de opción, sustituye el fallo por una distribución uniforme que puede parecer incertidumbre válida. Por tanto, demográficamente controlable no significa población estadísticamente representativa.

El primer caso reproduce parte de Anthology con LLaMA-3.1-8B, 20 preguntas seleccionadas de tres olas del American Trends Panel y miles de personas virtuales. Mide distancia de Wasserstein entre distribuciones y norma de Frobenius entre matrices de correlación; menor es mejor. La variante de peso máximo mejora a BIO y QA en las seis celdas: en la ola 34 obtiene 0,160/0,837 frente al mejor baseline 0,235/1,481; en la 92, 0,251/1,603 frente a 0,346/1,719; y en la 99, 0,148/1,026 frente a 0,180/1,229. Greedy mejora cinco de seis comparaciones contra el mejor baseline, pero su Frobenius 1,352 en la ola 99 es peor que 1,229 de BIO. Todas las variantes siguen claramente por detrás de la fila humana (0,057/0,418; 0,091/0,411; 0,081/0,327). No se informan intervalos, variación entre ejecuciones, múltiples modelos, análisis por subgrupo o pregunta, criterio completo de selección ni prueba de contaminación.

El segundo caso usa 49 concursos de viñetas, Gemini 2.5 Flash a temperatura 1,0 y 20 elecciones por concurso. Anthology acierta el ganador humano en 29/49 casos (59,2%; IC Wilson 45,2–71,8) y zero-shot en 25/49 (51,0%; 37,5–64,4): cuatro concursos más, con intervalos solapados. El artículo dice aplicar McNemar exacto pero no publica su p-valor ni la tabla de pares discordantes. La cuota de voto al ganador humano sube de 52,0% a 59,8%, +7,8 puntos (IC bootstrap 3,2–12,8; prueba de signos exacta p=0,0024). Esto muestra mayor acuerdo agregado con ese benchmark, no comprensión general del humor ni fidelidad individual.

El código de aplicación es realmente público y AGPL, pero la evidencia no es reproducible de extremo a extremo. La rama principal no incluye la instantánea enriquecida de 34.907 personas, datos ATP/viñetas, configuraciones, semillas, salidas ni scripts que recompongan las tablas. Los datasets públicos contienen 11.364 historias Anthology y 41.053 Alterity, solo texto, no las probabilidades usadas. El frontend compila, pero la auditoría encontró 27 errores de lint, 60/128 pruebas frontend fallidas en el entorno comprobado, una colección pytest rota y dos fallos adicionales entre las 256 pruebas restantes; npm audit detectó tres vulnerabilidades altas de producción. Más grave: funciones SQL SECURITY DEFINER que leen claves API descifradas o cambian tareas no revocan EXECUTE a PUBLIC ni comprueban propiedad, y las funciones de medios verifican autenticación pero no pertenencia del objeto. No se probaron estos fallos contra producción ni se accedió a datos. La web es clara, responsive y usa landmarks y enlace de salto, pero el titular animado expone frases incompletas, la navegación móvil oculta casi todos los enlaces sin menú y el registro carece de política de privacidad o términos. En conjunto, Anamnesis es un prototipo abierto útil con una interfaz real y mejoras relativas en dos casos acotados; no valida participantes sintéticos representativos ni una alternativa lista para sustituir estudios humanos.