Persona-Based Simulation of Human Opinion at Population Scale

Pregunta de investigación

Si una persona semiestructurada inferida de trazas públicas de redes sociales recupera respuestas de encuesta mejor y con más heterogeneidad que siete datos demográficos, y si bancos ponderados de esas personas pueden aproximar opinión pública sobre temas estables y eventos recientes.

Método

Un Painter concatena cronológicamente todos los posts recuperables y genera mediante LLM un JSON de esquema fijo y una narración; un Reasoner selecciona una opción, confianza y justificación por pregunta. La evaluación interna retiene 52 preguntas no demográficas de Ipsos y compara exactitud media por usuario frente a una persona demográfica, además de un compuesto ponderado por posición. La evaluación externa usa Gemma-3-27B-IT, datos demográficos y raking; responde directamente aborto e inmigración y usa búsquedas Tavily para Epstein y Venezuela antes de comparar agregados de Twitter y Reddit con Pew, YouGov y CBS.

Muestra: Se recibieron handles de 1.410 usuarios de Twitter/X y 893 de Reddit, con 452 personas que entregaron ambos. Tras exigir cuenta válida, contenido público y recuperabilidad por API, Table A1 contiene 1.031 perfiles Twitter y 774 Reddit. El raking usa n=1.517 personas únicas; por aritmética, ello implica 288 participantes retenidos con ambos servicios, pero el texto no reconcilia explícitamente esa dependencia. Aproximadamente 61% son hombres y más de la mitad tienen grado universitario; Reddit es 58,8% liberal y 76,1% menor de 45 años. Los pesos normalizados tienen SD 1,32, mediana 0,63, mínimo 0,012 y máximo 14,42.

Hallazgos

• Figure 1B reporta demografía/SPIRIT de 49,5/48,9% en Gemma-3-4B, 52,9/59,6% en Llama-3.1-8B, 55,5/62,1% en Gemma-3-12B, 54,5/63,4% en Gemma-3-27B, 55,1/64,3% en GPT-5-mini y 56,9/65,7% en GPT-5.2.
• SPIRIT mejora cinco de seis modelos, no todos: Gemma-3-4B es 0,6 puntos peor. La mejora de 8-9 puntos solo describe los modelos mayores.
• Gemma-3-4B y Llama-3.1-8B fallan en una fracción no trivial incluso tras diez reintentos de JSON, pero no se publican conteos, tasas ni una muestra común por modelo.
• En las 81 preguntas con GPT-5-mini, la exactitud varía de 0,245 en finanzas y 0,257 en tecnología a 0,832 en voto y 0,929 en asuntos militares.
• Las desviaciones estándar de Table F8 coinciden exactamente, tras redondeo, con sqrt(p(1-p)); describen la corrección binaria de filas, no variación entre preguntas, usuarios o ejecuciones.
• Las secuencias (1,2) y (3,1) producen ambas un compuesto ponderado 5/3, refutando la afirmación de que el mismo valor solo aparece para secuencias idénticas.
• En Venezuela Q14, agentes/CBS son 20,1/13% major threat, 79,9/48% minor threat y 0/39% not a threat; en Q19 son 39,6/37% decrease, 11,8/56% no change y 48,6/7% increase.
• Las páginas oficiales de YouGov y CBS contienen públicamente la pregunta y los porcentajes usados como benchmark, por lo que una búsqueda web con ese tema podía recuperar el objetivo.

Limitaciones

• La tarea mide predicción de respuestas, no formación o cambio de opinión, intervención, conducta ni consistencia longitudinal.
• El baseline recibe siete demografías y SPIRIT todos los posts recuperables; faltan baselines text-only, retrieval-only y ablaciones de JSON, narrativa, rasgos y opiniones.
• Big Five, primal beliefs, identidades, salud mental, experiencias y demás atributos no se contrastan con medidas reales; la confianza del Painter no está calibrada.
• No se informan rangos de fechas ni un corte de posts anterior a la encuesta Ipsos, así que el held-out no garantiza aislamiento temporal.
• El compuesto ponderado por posición tiene colisiones, mezcla códigos binarios, ordinales y nominales de escalas distintas y da más peso arbitrario a preguntas posteriores.
• La tasa off-by-one usa distancia numérica en variables nominales y, en preguntas binarias, cuenta cualquier error como cercano; el aproximadamente 83% no es una medida general válida de proximidad.
• No hay baseline de mayoría/chance por ítem, intervalos, prueba pareada, bootstrap por usuario ni variabilidad entre runs para las diferencias de accuracy.
• Las fallas de esquema de modelos pequeños no tienen denominadores y pueden cambiar la composición de usuarios entre modelos.
• Reclutamiento probabilístico de KnowledgePanel no conserva representatividad en el subconjunto que usa redes, publica, consiente, entrega un handle válido y tiene texto recuperable.
• El raking empieza con pesos iguales, no pesos de diseño, y no corrige por sí solo selección no ignorable; calibrar por voto 2024 puede aproximar mecánicamente opiniones políticas.
• Los pesos extremos implican, como diagnóstico aproximado, un efecto de diseño 2,74 y n efectivo cercano a 553, sin trimming, sensibilidad ni varianza de encuesta publicados.
• No se explica cómo se tratan los al menos 288 usuarios retenidos en ambas plataformas ni si cada banco vuelve a alcanzar los márgenes por separado.
• La validación externa mezcla organizaciones, fechas, muestras y modos; aborto tiene un ítem y Epstein dos, y no hay MAE, correlación, calibración, criterio preregistrado ni baseline.
• Los agregados sintéticos carecen de incertidumbre por muestreo, raking, overlap, generación, búsqueda o runs, y la figura no incorpora tamaños ni márgenes de error de los benchmarks.
• Tavily podía recuperar directamente los porcentajes objetivo; sin queries, URLs, snippets, resúmenes y timestamps no se puede descartar contaminación del benchmark.
• Faltan seeds, temperatura, top-p, parámetros de búsqueda, número de ejecuciones, snapshots exactos de GPT, truncación/contexto por usuario, GPU-hours y coste.
• No hay código, outputs, personas derivadas, pesos, datos procesados, logs o scripts públicos; la liberación se promete solo tras aceptación.
• La referencia 24 estudia homogeneización y baja replicación de GPT-3.5 como participante, no inferencia de rasgos desde texto social, y no respalda la frase citada.
• Inferir religión, política, salud mental, identidad y experiencias desde posts plantea riesgos de privacidad, perfilado y manipulación; faltan validación por atributo, fairness, reidentificación, borrado/unlearning y gobernanza detallada.

Qué no demuestra

• No demuestra que SPIRIT simule cómo una persona forma, cambia o aplica opiniones; demuestra predicción de respuestas retenidas.
• No atribuye la mejora a una representación psicológica frente a disponer de mucho más texto individual.
• No valida que rasgos, creencias, identidades o experiencias inferidos sean correctos ni que la confianza esté calibrada.
• No demuestra ventaja en todos los modelos ni una diferencia estadísticamente fiable.
• No demuestra heterogeneidad humana mediante el compuesto, porque no es único ni tiene una escala interpretable.
• No establece que 83% de las respuestas sean sustantivamente correctas o cercanas en dominios nominales y binarios.
• No convierte el subconjunto social enlazado en una muestra representativa de todos los adultos de EE. UU. mediante raking.
• No proporciona una validación externa independiente mientras las búsquedas puedan observar los porcentajes benchmark.
• No justifica llamar al banco una fuente creíble de opinión pública con pocos ítems, grandes errores, sin incertidumbre ni métrica formal.
• No permite reproducir los resultados con artefactos públicos disponibles en la fecha de revisión.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.27056v1

Fuente consultada: https://arxiv.org/abs/2603.27056v1

Revisión: Codex 52-page visual full-text, official arXiv metadata, official poll-source, GitHub artifact, construct, population-inference, statistical, search-leakage, ethics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

• SPIRIT Painter/Reasoner
• Gemma-3-4B
• Llama-3.1-8B
• Gemma-3-12B
• Gemma-3-27B
• google/gemma-3-27b-it
• GPT-5-mini
• GPT-5.2

Instrumentos y métricas

• 81 preguntas de Ipsos KnowledgePanel, 52 no demográficas en el análisis principal
• Exact-match medio por usuario
• Tasa off-by-one
• Compuesto de respuestas ponderado por posición
• Esquema SPIRIT con Big Five, 26 primal world beliefs, valores, identidades, experiencias y opiniones
• Raking a seis márgenes
• Comparación exploratoria con encuestas Pew, YouGov y CBS
• Búsqueda web Tavily para eventos recientes

Datos utilizados

• Ipsos KnowledgePanel survey responses linked under consent to public Twitter/X and Reddit histories
• Pew Research Center Public Opinion on Abortion
• Pew Research Center 2024 immigration policy survey
• November 15-17 2025 Economist/YouGov Epstein poll
• November 19-21 2025 CBS News/YouGov Venezuela poll

Evidencia y localización

• Diseño SPIRIT, evaluación interna y valores por modelo: arXiv v1, pp. 1-7, Figure 1; all 52 PDF pages visually inspected
• Muestra, linkage, posts, raking y compuesto ponderado: arXiv v1, pp. 13-17 and p. 20 Table A1
• Cómputo, reintentos y fallas de esquema: arXiv v1, pp. 19-21, Appendix B
• Diccionario, categorías, off-by-one y desviaciones Venezuela: arXiv v1, pp. 21-35, Tables C3, E4-E7 and F8-F10
• Prompts completos y campos sensibles inferidos: arXiv v1, pp. 37-49, Appendix G
• Metadatos, versión y ausencia de repo público: Official arXiv Atom/HTML and GitHub repository search inspected 2026-07-17
• Benchmark visible y riesgo de contaminación por búsqueda: Official Pew, YouGov and CBS pages cited by the manuscript, retrieved 2026-07-17
• Referencia 24 no respalda inferencia de rasgos sociales: Official arXiv metadata and abstract for arXiv:2302.07267v6 inspected 2026-07-17
• Auditoría integral de constructo, estadística, población, leakage, artefactos y ética: reports/verification/article-381-spirit-population-inference-composite-leakage-statistics-artifacts-and-ethics-audit.json