LLM Agents Predict Social Media Reactions but Do Not Outperform Text Classifiers: Benchmarking Simulation Accuracy Using 120K+ Personas of 1511 Humans

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Ljubisa Bojic, Alexander Felfernig, Bojana Dinic, Velibor Ilic, Achim Rettinger, Vera Mevorah, Damian Trilling

Palabras clave: Persona conditioning, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

7
Autores
7
Hallazgos
18
Limitaciones
9
Evidencias

Resumen editorial

Español

Este preprint estudia si agentes LLM con perfiles de participantes pueden coincidir con las reacciones que esas personas declaran en una encuesta ante publicaciones construidas. No observa conducta real en una plataforma. Una agencia reclutó 1.511 participantes en Serbia, de 18 a 78 años, que respondieron a 56 posts escritos en serbio: 28 de noticias/política y 28 de entretenimiento/estilo de vida, con 31 encuadres positivos y 25 negativos. Podían marcar like o dislike, comentario, compartir o ninguna reacción bajo restricciones multilabel. Sus datos demográficos, actitudes, preferencias y rasgos se transformaron en tres perfiles: demográfico, valores/actitudes y completo. El suplemento OSF aclara que existen 4.533 prompts de perfil, 1.511 personas por tres niveles; las más de 120.000 unidades del título son 122.391 cruces de esos perfiles con configuraciones de modelos, no 120.000 personas distintas. El texto habla de 27 LLM, aunque enumera 26 identificadores y representa Grok 4.1 con modos reasoning y non-reasoning separados para alcanzar 27 configuraciones. Study 1 produce cinco etiquetas por combinación persona-post. Su Hamming accuracy media es 70,70%: 55,81% para like, 61,53% para dislike, 83,22% para comment, 93,13% para share y 59,83% para no reaction. Pero el propio paper calcula que predecir siempre ausencia en las cinco etiquetas alcanza aproximadamente 79,3%. Por tanto, el 70,7% no demuestra buena fidelidad absoluta; las cifras altas de comment y share están dominadas por acertar que esas conductas raras no ocurren. Las estimaciones por configuración van de 62,9% a 76,3%. Los prompts completo, de valores y demográfico promedian 71,5%, 71,2% y 69,6%; son diferencias pequeñas y no uniformes entre modelos. Entertainment/lifestyle y los posts positivos muestran mayor acuerdo agregado. Study 2 cambia la tarea. Selecciona los cuatro mejores modelos de Study 1, conserva solo perfiles demográfico y completo, fuerza una elección like/dislike y evalúa únicamente posts en los que la persona humana ya había elegido like o dislike, el 55,85% de las respuestas. Es, por tanto, predicción condicional de valencia entre respuestas comprometidas; no predice si alguien reaccionará, comentará, compartirá o no hará nada. Para GPT-5.2 se informa 67,0% de accuracy, por debajo del baseline always-like de 69,7%, pero MCC=0,29, balanced accuracy=65,5%, sensibilidad de dislike=61,5%, precisión de dislike=46,7% y lift=1,54. La auditoría reprodujo el núcleo del resultado a partir del CSV OSF: contiene 676.928 filas, exactamente 1.511×56×4×2; tras filtrar like/dislike quedan 94.520 pares persona-post por modelo. Para LLM02 se recalculan accuracy=0,670186, MCC=0,290047 y balanced accuracy=0,654506. Hay señal asociativa modesta más allá de una regla mayoritaria, pero no precisión individual fuerte. El benchmark held-out publicado favorece a clasificadores convencionales: TF-IDF sobre texto de persona y post alcanza MCC=0,3601, frente a 0,2958 de GPT-5.2 y 0,2777 de Gemini 2.5. Es la conclusión comparativa más sólida: estos agentes zero-shot no superan al clasificador textual suministrado. Aun así, la evaluación del benchmark no es totalmente reproducible. El código consume un split_role ya creado, pero no muestra cómo se construye. Como solo hay 56 posts repetidos entre 1.511 personas, un split por filas puede dejar el mismo texto en train mediante otros participantes; no queda demostrado rendimiento sobre posts realmente nuevos. Tampoco Study 2 es una réplica independiente: elige los ganadores de Study 1 y reutiliza las mismas personas y estímulos. El constructo y el prompt exigen cautela adicional. Los targets son intenciones de encuesta sobre posts de laboratorio, no trazas de conducta. En los casos related, el perfil contiene una actitud sobre el mismo tema del post, por lo que la coincidencia puede ser consistencia casi directa y no simulación general de una persona. El prompt publicado ordena usar información sobre grupos similares, introduciendo explícitamente inferencia estereotípica. Además, el paper describe el perfil demográfico con edad, género, educación, empleo y región, pero el suplemento y el benchmark incluyen también religión. Otra sección presenta el nivel de valores como información añadida a demografía, mientras figura y suplemento lo definen sin demografía. Los 4.533 prompts completos no se publican, así que no puede resolverse la transformación exacta. En estadística, un Welch t usa más de un millón de observaciones repetidas como si fueran independientes. Los modelos lineales mixtos añaden solo intercepto de participante, sin efecto aleatorio del post pese a reutilizar 56 estímulos ni slopes por modelo/condición, y modelan outcomes binarios o acotados como gaussianos. Los intervalos de Figure 7 tampoco agrupan por persona o post. Hay denominadores no conciliados: el diseño implica 6.853.896 salidas agente-post y Table 1 usa 34.269.480 decisiones de etiqueta, pero Figure 2 suma 1.048.475 casos y el Welch test declara df=1.022.434 sin explicar exclusiones. H1 exige MCC significativamente mayor que cero, pero no da test o intervalo cluster-aware; la escala fair de Landis y Koch procede de acuerdo/kappa, no es una interpretación universal de MCC. El Brier tampoco prueba calibración: los prompts devuelven booleanos y el código usa esa salida 0/1 como agent_prob; en predicciones duras el Brier equivale al error, no mide probabilidades calibradas comparables a la regresión logística. H4 se marca apoyada en el agregado de Study 2, no apoyada al restringir a los dos mejores modelos y apoyada otra vez en la conclusión. El OSF es una fortaleza parcial: permite reproducir métricas de Study 2 y aporta prompts, posts, hojas y fragmentos de código. Pero el nodo es privado con enlace view-only, no registrado y mutable; Agent_Prompt_Template.docx se añadió el 16 de julio de 2026, meses después de arXiv v1. Los scripts dependen de objetos o archivos no definidos, within_df, agent_df, full_df, analiza_3.xlsx, y no forman un pipeline ejecutable. Se retienen perfiles completos, texto libre y plantillas serbias por privacidad y riesgo de abuso, una frontera razonable que limita la reproducción. El paper tampoco documenta comité ético, consentimiento, compensación, privacidad o retención pese a recopilar política, religión, conspiraciones, personalidad y texto libre; ni publica reglas de cribado y exclusión. La aportación útil es metodológica: muestra por qué accuracy bruta es insuficiente, publica métricas corregidas y compara agentes con baselines fuertes. Sus cifras deben leerse como asociación exploratoria en respuestas hipotéticas de una muestra serbia, no como validación de gemelos individuales ni evidencia de una capacidad desplegable de manipulación, persuasión o simulación social fiable.

English

This preprint asks whether LLM agents built from participant profiles can match the reactions those people report in a survey when shown constructed posts. It does not observe behavior on a real platform. A market-research agency recruited 1,511 participants in Serbia, aged 18-78, who responded to 56 Serbian-language posts: 28 news/politics and 28 entertainment/lifestyle items, with 31 positive and 25 negative framings. Participants could select like or dislike, comment, share, or no reaction under multilabel constraints. Their demographics, attitudes, preferences, and traits were converted into demographic, values/attitudes, and full profiles. The OSF supplement clarifies that there are 4,533 persona prompt files, 1,511 people times three levels. The title's 120,000-plus units are 122,391 crossings of those profiles with model configurations, not 120,000 distinct people or profiles. The text calls these 27 LLMs, although it lists 26 model identifiers and represents Grok 4.1 reasoning and non-reasoning modes separately to reach 27 configurations. Study 1 emits five labels per persona-post combination. Mean Hamming accuracy is 70.70%: 55.81% for like, 61.53% for dislike, 83.22% for comment, 93.13% for share, and 59.83% for no reaction. Yet the paper itself calculates that always predicting absence for all five labels reaches about 79.3%. The 70.7% figure therefore does not establish strong absolute fidelity; high comment and share scores are dominated by correctly predicting that rare actions are absent. Configuration estimates range from 62.9% to 76.3%. Full, values, and demographic prompts average 71.5%, 71.2%, and 69.6%, respectively; these are small effects and are not uniform across models. Entertainment/lifestyle and positive posts show higher aggregate agreement. Study 2 changes the task. It selects the four best Study 1 configurations, retains demographic and full personas, forces a like/dislike choice, and evaluates only posts for which the human had already selected like or dislike, 55.85% of responses. It therefore estimates conditional valence agreement among engaged responses; it does not predict whether someone reacts, comments, shares, or does nothing. GPT-5.2 is reported at 67.0% accuracy, below the 69.7% always-like baseline, but with MCC=.29, balanced accuracy=65.5%, dislike sensitivity=61.5%, dislike precision=46.7%, and lift=1.54. The audit reproduced the core result from the OSF CSV. It has 676,928 rows, exactly 1,511×56×4×2; filtering to human like/dislike leaves 94,520 persona-post pairs per model. Recalculation for LLM02 gives accuracy=.670186, MCC=.290047, and balanced accuracy=.654506. This is modest association beyond a majority rule, not strong individual precision. The published held-out benchmark favors conventional classifiers: TF-IDF over persona and post text reaches MCC=.3601, versus .2958 for GPT-5.2 and .2777 for Gemini 2.5. This is the strongest comparative conclusion: these zero-shot agents do not beat the supplied text classifier. The benchmark evaluation is not fully reproducible, however. The code consumes a precomputed split_role but never constructs it. With only 56 posts repeated across 1,511 people, a row-level split can expose the same post text in training through other respondents; performance on genuinely unseen posts is not established. Study 2 is also not an independent replication because it selects Study 1 winners and reuses the same people and stimuli. The construct and prompt require further caution. Targets are survey intentions toward laboratory posts, not behavioral traces. In related cases, the profile contains an attitude on the same topic as the post, so agreement may reflect near-direct issue consistency rather than general person simulation. The released prompt explicitly tells models to use information about similar groups of people, inviting stereotyped inference. The paper describes demographics as age, gender, education, employment, and region, but the supplement and benchmark also include religion. Another passage describes values as added to demographics, while the figure and supplement define a values-only condition. The complete 4,533 prompts are withheld, so the exact transformation cannot be recovered. Statistically, a Welch test treats more than one million repeated observations as independent. Linear mixed models add only a participant intercept, with no random post effect despite reuse of 56 stimuli and no model/condition slopes, and model binary or bounded outcomes as Gaussian. Figure 7 intervals also ignore participant and post clustering. Denominators are unreconciled: the design implies 6,853,896 agent-post outputs and Table 1 uses 34,269,480 label decisions, but Figure 2 counts sum to 1,048,475 and the Welch test reports df=1,022,434 without explaining exclusions. H1 requires MCC significantly above zero, but no cluster-aware test or interval is reported; Landis and Koch's fair category concerns agreement/kappa and is not a universal MCC scale. Brier scores do not establish calibration either. Prompts return booleans and code uses the 0/1 value as agent_prob; with hard predictions Brier equals error rate rather than a calibrated probability score comparable with logistic regression. H4 is supported in the four-model aggregate, unsupported for the two best models, and supported again in the conclusion. OSF is a partial strength: it allows reproduction of Study 2 metrics and supplies prompts, posts, spreadsheets, and code fragments. But the node is private through a view-only link, unregistered, and mutable; Agent_Prompt_Template.docx was added on 16 July 2026, months after arXiv v1. Scripts rely on undefined objects or missing filenames, within_df, agent_df, full_df, analiza_3.xlsx, and do not form a runnable pipeline. Complete profiles, free text, and verbatim Serbian templates are withheld for privacy and misuse reasons, a reasonable boundary that limits reproduction. The paper also documents no ethics board, consent, compensation, privacy, or retention procedure despite collecting politics, religion, conspiracy beliefs, personality, and free text, and it does not publish screening and exclusion rules. The useful contribution is methodological: it shows why raw accuracy is inadequate, releases chance-corrected metrics, and compares agents with strong baselines. Results should be read as exploratory association in hypothetical responses from one Serbian sample, not validation of individual digital twins or evidence of deployable manipulation, persuasion, or reliable social simulation.

Pregunta de investigación

¿Hasta qué punto agentes zero-shot condicionados con perfiles de 1.511 encuestados pueden coincidir con sus reacciones declaradas a 56 posts, qué aportan detalle del perfil, alineación, dominio y valencia, y superan a clasificadores supervisados convencionales?

Método

Study 1 cruza tres perfiles por participante con 27 configuraciones y compara cinco etiquetas mediante Hamming accuracy y modelos lineales mixtos. Study 2 selecciona cuatro configuraciones, fuerza like/dislike y filtra los casos humanos con esa valencia. MCC, balanced accuracy, sensibilidad, precisión, lift y Brier se comparan con baselines y modelos estructurados/TF-IDF en un split within-person precomputado.

Muestra: N=1.511, 50,6% mujeres y 0,2% otro, 18–78 años (M=36,77; SD=13,46), reclutados por Latenta en Serbia del 21 al 28 de noviembre de 2025. Se registran 3.119 intentos, 1.626 completos, 899 parciales, 594 descalificados y 115 eliminados. No se publican criterios, cuotas, ponderación, consentimiento, compensación o missingness. Cada persona aporta 56 respuestas hipotéticas; no son 84.616 personas independientes.

Hallazgos

  • Study 1 reporta Hamming 70,70%, pero el baseline always-absent multilabel es 79,3%; el headline no acredita fidelidad absoluta.
  • La configuración explica más variación que prompt, dominio o valencia; el rango estimado por modelo es 62,9–76,3%, con efectos pequeños entre los mejores.
  • Full y values mejoran poco frente a demographics: 71,5%, 71,2% y 69,6% agregados, con patrones heterogéneos por modelo.
  • Study 2 reproduce señal condicional modesta para GPT-5.2: accuracy 67,0%, MCC≈0,29 y balanced accuracy≈65,5%, aunque always-like alcanza 69,7%.
  • El CSV publicado permite reproducir 94.520 pares filtrados por modelo y las métricas centrales de LLM02.
  • TF-IDF persona+post obtiene MCC 0,3601 y supera a GPT-5.2 0,2958; los agentes no aportan ventaja frente al baseline textual suministrado.
  • Valencia positiva predice mayor acuerdo; el efecto de dominio cambia de dirección entre Gemini y GPT-5.2 y H4 recibe conclusiones incompatibles.

Limitaciones

  • Mide intenciones en encuesta ante posts fabricados, no comportamiento observado en redes sociales ni estabilidad temporal.
  • Los 120K+ son cruces modelo-perfil de 4.533 prompts, no perfiles humanos independientes.
  • El prompt invita a usar información sobre grupos similares y no separa simulación individual de estereotipos demográficos.
  • El perfil demographics incluye religión en suplemento/código aunque el paper la omite; la definición de values también es ambigua.
  • Los casos related pueden contener en el perfil una actitud casi directamente alineada con el target del post.
  • Study 2 condiciona a respuestas humanas like/dislike y no predice engagement, no reaction, comment o share.
  • Los cuatro modelos de Study 2 se seleccionan en Study 1 usando las mismas personas y posts; no hay validación independiente.
  • El split held-out no se construye en el código y no se descarta que textos de los mismos 56 posts aparezcan en train mediante otras personas.
  • Study 1 queda por debajo del baseline mayoritario multilabel; comment/share accuracy está dominada por ausencia de clases raras.
  • Figure 2, Welch y Table 1 usan denominadores incompatibles sin flujo de exclusiones reproducible.
  • Welch, intervalos y parte de la inferencia ignoran clustering por persona, post, modelo y condición.
  • Los LMM gaussianos tienen solo intercepto por participante y no modelan post aleatorio ni la naturaleza binaria/acotada del outcome.
  • No se informa intervalo o test cluster-aware para MCC>0; la categoría fair de kappa no valida magnitud MCC.
  • Brier sobre booleanos de agente equivale a error y no permite afirmar calibración probabilística comparable.
  • Aliases latest/preview, parámetros, fechas, seeds, retries y outputs de API no se documentan para los 27 runs.
  • El OSF no está registrado, es mutable y añadió el prompt meses después de v1; los scripts no son end-to-end.
  • Los perfiles completos, texto libre y plantillas serbias se retienen, limitando auditoría de sesgo y reproducción.
  • Faltan ética, consentimiento, compensación, privacidad, retención y criterios de 594+115 exclusiones para datos humanos sensibles.

Qué no demuestra

  • No establece predicción de conducta real, gemelos digitales individuales ni validez ecológica en una plataforma.
  • No demuestra que 70,7% sea mejor que estrategias triviales; su baseline multilabel alcanza 79,3%.
  • No prueba que más detalle de persona produzca razonamiento individual en vez de estereotipo o consistencia temática directa.
  • No demuestra generalización a nuevos posts, países, idiomas, momentos o poblaciones.
  • No establece calibración probabilística de agentes con Brier calculado sobre salidas duras.
  • No demuestra persuasión, manipulación, coordinación de swarms, polarización o utilidad segura para policy stress-testing.
  • No permite reproducir de extremo a extremo generación, split, modelos mixtos y benchmark desde artefactos congelados.
  • No documenta que la recopilación y publicación parcial de datos políticos, religiosos y psicológicos tenga supervisión ética suficiente.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.19787v1 preprint

Fuente consultada: https://arxiv.org/pdf/2604.19787v1

Revisión: Codex 34-page visual full-text, 3-page prompt, OSF API/file, Study 2 CSV reproduction, benchmark-code, construct, repeated-measures, calibration, human-subjects and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • 27 plotted configurations derived from 26 model identifiers across OpenAI, Google, xAI, Mistral, Qwen, NVIDIA, Meta, Anthropic, DeepSeek, KwaiPilot, Nex-AGI and Nous Research
  • GPT-5.2 Chat Latest
  • Gemini 2.5 Flash
  • LLaMA 3.3 70B Instruct
  • Grok 3 Mini Fast
  • Class-balanced TF-IDF logistic regression
  • Random forest, histogram gradient boosting and structured logistic-regression baselines

Instrumentos y métricas

  • 56 researcher-authored Serbian social-media posts
  • Five-label like/dislike/comment/share/no-reaction survey task
  • Demographic, values and full persona prompt conditions
  • Binary forced-choice like/dislike task
  • Hamming accuracy
  • Matthews Correlation Coefficient
  • Balanced accuracy, sensitivity, precision and minority-class lift
  • Brier score applied to probabilistic TF-IDF and hard 0/1 agent outputs
  • Linear mixed-effects models and Tukey estimated marginal means

Datos utilizados

  • Survey responses from 1,511 Serbian participants
  • 4,533 persona-specific prompt profiles, not fully released
  • Study 1 outputs across 27 configurations, partially represented in OSF spreadsheets
  • OSF Study 2 all_agents_accuracy.csv with 676,928 rows
  • OSF posts, prompt supplement, derived metrics, benchmark table and incomplete code fragments

Evidencia y localización

  • Diseño, muestra, posts, perfiles y 27 configuraciones: arXiv v1, pp. 7-10, Methodology
  • Study 1, baseline 79,3%, Hamming y efectos: arXiv v1, pp. 13-18, Table 1, Table 2 and Figures 2-6
  • Study 2, MCC, balanced accuracy, lift y contradicciones H2-H5: arXiv v1, pp. 19-23, Tables 3-4 and Figure 7
  • TF-IDF supera a LLM y Brier se interpreta como calibración: arXiv v1, pp. 24-26, benchmark prose and table labeled Table 8
  • 4.533 prompts, instrucción sobre grupos similares, religión y retención de perfiles: OSF Agent_Prompt_Template.docx, all 3 rendered pages inspected; SHA-256 7221502988e1febd301621175e508fdc5ba686aa1af90145b8fbab88276e8106
  • Reproducción independiente de métricas Study 2: OSF all_agents_accuracy.csv; 676,928 rows; SHA-256 59e0f6a34043154ecf2f55d069275a0e20e2d4ca451eda909e5aa43833f5db15
  • Split no construido, hard agent_prob y código no autónomo: OSF Code01.txt, Code02.txt, metrics.txt and file-p3d.py inspected 2026-07-17
  • Estado mutable/no registrado, archivos y fechas OSF: Official OSF API node and file listings retrieved 2026-07-17
  • Auditoría integral de constructo, estadística, artefactos, ética y reproducibilidad: reports/verification/article-379-social-media-reaction-hypothetical-behavior-multilabel-baseline-clustering-brier-osf-ethics-and-reproducibility-audit.json