LLM Agents Predict Social Media Reactions but Do Not Outperform Text Classifiers: Benchmarking Simulation Accuracy Using 120K+ Personas of 1511 Humans

This preprint asks whether LLM agents built from participant profiles can match the reactions those people report in a survey when shown constructed posts. It does not observe behavior on a real platform. A market-research agency recruited 1,511 participants in Serbia, aged 18-78, who responded to 56 Serbian-language posts: 28 news/politics and 28 entertainment/lifestyle items, with 31 positive and 25 negative framings. Participants could select like or dislike, comment, share, or no reaction under multilabel constraints. Their demographics, attitudes, preferences, and traits were converted into demographic, values/attitudes, and full profiles. The OSF supplement clarifies that there are 4,533 persona prompt files, 1,511 people times three levels. The title's 120,000-plus units are 122,391 crossings of those profiles with model configurations, not 120,000 distinct people or profiles. The text calls these 27 LLMs, although it lists 26 model identifiers and represents Grok 4.1 reasoning and non-reasoning modes separately to reach 27 configurations. Study 1 emits five labels per persona-post combination. Mean Hamming accuracy is 70.70%: 55.81% for like, 61.53% for dislike, 83.22% for comment, 93.13% for share, and 59.83% for no reaction. Yet the paper itself calculates that always predicting absence for all five labels reaches about 79.3%. The 70.7% figure therefore does not establish strong absolute fidelity; high comment and share scores are dominated by correctly predicting that rare actions are absent. Configuration estimates range from 62.9% to 76.3%. Full, values, and demographic prompts average 71.5%, 71.2%, and 69.6%, respectively; these are small effects and are not uniform across models. Entertainment/lifestyle and positive posts show higher aggregate agreement. Study 2 changes the task. It selects the four best Study 1 configurations, retains demographic and full personas, forces a like/dislike choice, and evaluates only posts for which the human had already selected like or dislike, 55.85% of responses. It therefore estimates conditional valence agreement among engaged responses; it does not predict whether someone reacts, comments, shares, or does nothing. GPT-5.2 is reported at 67.0% accuracy, below the 69.7% always-like baseline, but with MCC=.29, balanced accuracy=65.5%, dislike sensitivity=61.5%, dislike precision=46.7%, and lift=1.54. The audit reproduced the core result from the OSF CSV. It has 676,928 rows, exactly 1,511×56×4×2; filtering to human like/dislike leaves 94,520 persona-post pairs per model. Recalculation for LLM02 gives accuracy=.670186, MCC=.290047, and balanced accuracy=.654506. This is modest association beyond a majority rule, not strong individual precision. The published held-out benchmark favors conventional classifiers: TF-IDF over persona and post text reaches MCC=.3601, versus .2958 for GPT-5.2 and .2777 for Gemini 2.5. This is the strongest comparative conclusion: these zero-shot agents do not beat the supplied text classifier. The benchmark evaluation is not fully reproducible, however. The code consumes a precomputed split_role but never constructs it. With only 56 posts repeated across 1,511 people, a row-level split can expose the same post text in training through other respondents; performance on genuinely unseen posts is not established. Study 2 is also not an independent replication because it selects Study 1 winners and reuses the same people and stimuli. The construct and prompt require further caution. Targets are survey intentions toward laboratory posts, not behavioral traces. In related cases, the profile contains an attitude on the same topic as the post, so agreement may reflect near-direct issue consistency rather than general person simulation. The released prompt explicitly tells models to use information about similar groups of people, inviting stereotyped inference. The paper describes demographics as age, gender, education, employment, and region, but the supplement and benchmark also include religion. Another passage describes values as added to demographics, while the figure and supplement define a values-only condition. The complete 4,533 prompts are withheld, so the exact transformation cannot be recovered. Statistically, a Welch test treats more than one million repeated observations as independent. Linear mixed models add only a participant intercept, with no random post effect despite reuse of 56 stimuli and no model/condition slopes, and model binary or bounded outcomes as Gaussian. Figure 7 intervals also ignore participant and post clustering. Denominators are unreconciled: the design implies 6,853,896 agent-post outputs and Table 1 uses 34,269,480 label decisions, but Figure 2 counts sum to 1,048,475 and the Welch test reports df=1,022,434 without explaining exclusions. H1 requires MCC significantly above zero, but no cluster-aware test or interval is reported; Landis and Koch's fair category concerns agreement/kappa and is not a universal MCC scale. Brier scores do not establish calibration either. Prompts return booleans and code uses the 0/1 value as agent_prob; with hard predictions Brier equals error rate rather than a calibrated probability score comparable with logistic regression. H4 is supported in the four-model aggregate, unsupported for the two best models, and supported again in the conclusion. OSF is a partial strength: it allows reproduction of Study 2 metrics and supplies prompts, posts, spreadsheets, and code fragments. But the node is private through a view-only link, unregistered, and mutable; Agent_Prompt_Template.docx was added on 16 July 2026, months after arXiv v1. Scripts rely on undefined objects or missing filenames, within_df, agent_df, full_df, analiza_3.xlsx, and do not form a runnable pipeline. Complete profiles, free text, and verbatim Serbian templates are withheld for privacy and misuse reasons, a reasonable boundary that limits reproduction. The paper also documents no ethics board, consent, compensation, privacy, or retention procedure despite collecting politics, religion, conspiracy beliefs, personality, and free text, and it does not publish screening and exclusion rules. The useful contribution is methodological: it shows why raw accuracy is inadequate, releases chance-corrected metrics, and compares agents with strong baselines. Results should be read as exploratory association in hypothetical responses from one Serbian sample, not validation of individual digital twins or evidence of deployable manipulation, persuasion, or reliable social simulation.

Este preprint estudia si agentes LLM con perfiles de participantes pueden coincidir con las reacciones que esas personas declaran en una encuesta ante publicaciones construidas. No observa conducta real en una plataforma. Una agencia reclutó 1.511 participantes en Serbia, de 18 a 78 años, que respondieron a 56 posts escritos en serbio: 28 de noticias/política y 28 de entretenimiento/estilo de vida, con 31 encuadres positivos y 25 negativos. Podían marcar like o dislike, comentario, compartir o ninguna reacción bajo restricciones multilabel. Sus datos demográficos, actitudes, preferencias y rasgos se transformaron en tres perfiles: demográfico, valores/actitudes y completo. El suplemento OSF aclara que existen 4.533 prompts de perfil, 1.511 personas por tres niveles; las más de 120.000 unidades del título son 122.391 cruces de esos perfiles con configuraciones de modelos, no 120.000 personas distintas. El texto habla de 27 LLM, aunque enumera 26 identificadores y representa Grok 4.1 con modos reasoning y non-reasoning separados para alcanzar 27 configuraciones. Study 1 produce cinco etiquetas por combinación persona-post. Su Hamming accuracy media es 70,70%: 55,81% para like, 61,53% para dislike, 83,22% para comment, 93,13% para share y 59,83% para no reaction. Pero el propio paper calcula que predecir siempre ausencia en las cinco etiquetas alcanza aproximadamente 79,3%. Por tanto, el 70,7% no demuestra buena fidelidad absoluta; las cifras altas de comment y share están dominadas por acertar que esas conductas raras no ocurren. Las estimaciones por configuración van de 62,9% a 76,3%. Los prompts completo, de valores y demográfico promedian 71,5%, 71,2% y 69,6%; son diferencias pequeñas y no uniformes entre modelos. Entertainment/lifestyle y los posts positivos muestran mayor acuerdo agregado. Study 2 cambia la tarea. Selecciona los cuatro mejores modelos de Study 1, conserva solo perfiles demográfico y completo, fuerza una elección like/dislike y evalúa únicamente posts en los que la persona humana ya había elegido like o dislike, el 55,85% de las respuestas. Es, por tanto, predicción condicional de valencia entre respuestas comprometidas; no predice si alguien reaccionará, comentará, compartirá o no hará nada. Para GPT-5.2 se informa 67,0% de accuracy, por debajo del baseline always-like de 69,7%, pero MCC=0,29, balanced accuracy=65,5%, sensibilidad de dislike=61,5%, precisión de dislike=46,7% y lift=1,54. La auditoría reprodujo el núcleo del resultado a partir del CSV OSF: contiene 676.928 filas, exactamente 1.511×56×4×2; tras filtrar like/dislike quedan 94.520 pares persona-post por modelo. Para LLM02 se recalculan accuracy=0,670186, MCC=0,290047 y balanced accuracy=0,654506. Hay señal asociativa modesta más allá de una regla mayoritaria, pero no precisión individual fuerte. El benchmark held-out publicado favorece a clasificadores convencionales: TF-IDF sobre texto de persona y post alcanza MCC=0,3601, frente a 0,2958 de GPT-5.2 y 0,2777 de Gemini 2.5. Es la conclusión comparativa más sólida: estos agentes zero-shot no superan al clasificador textual suministrado. Aun así, la evaluación del benchmark no es totalmente reproducible. El código consume un split_role ya creado, pero no muestra cómo se construye. Como solo hay 56 posts repetidos entre 1.511 personas, un split por filas puede dejar el mismo texto en train mediante otros participantes; no queda demostrado rendimiento sobre posts realmente nuevos. Tampoco Study 2 es una réplica independiente: elige los ganadores de Study 1 y reutiliza las mismas personas y estímulos. El constructo y el prompt exigen cautela adicional. Los targets son intenciones de encuesta sobre posts de laboratorio, no trazas de conducta. En los casos related, el perfil contiene una actitud sobre el mismo tema del post, por lo que la coincidencia puede ser consistencia casi directa y no simulación general de una persona. El prompt publicado ordena usar información sobre grupos similares, introduciendo explícitamente inferencia estereotípica. Además, el paper describe el perfil demográfico con edad, género, educación, empleo y región, pero el suplemento y el benchmark incluyen también religión. Otra sección presenta el nivel de valores como información añadida a demografía, mientras figura y suplemento lo definen sin demografía. Los 4.533 prompts completos no se publican, así que no puede resolverse la transformación exacta. En estadística, un Welch t usa más de un millón de observaciones repetidas como si fueran independientes. Los modelos lineales mixtos añaden solo intercepto de participante, sin efecto aleatorio del post pese a reutilizar 56 estímulos ni slopes por modelo/condición, y modelan outcomes binarios o acotados como gaussianos. Los intervalos de Figure 7 tampoco agrupan por persona o post. Hay denominadores no conciliados: el diseño implica 6.853.896 salidas agente-post y Table 1 usa 34.269.480 decisiones de etiqueta, pero Figure 2 suma 1.048.475 casos y el Welch test declara df=1.022.434 sin explicar exclusiones. H1 exige MCC significativamente mayor que cero, pero no da test o intervalo cluster-aware; la escala fair de Landis y Koch procede de acuerdo/kappa, no es una interpretación universal de MCC. El Brier tampoco prueba calibración: los prompts devuelven booleanos y el código usa esa salida 0/1 como agent_prob; en predicciones duras el Brier equivale al error, no mide probabilidades calibradas comparables a la regresión logística. H4 se marca apoyada en el agregado de Study 2, no apoyada al restringir a los dos mejores modelos y apoyada otra vez en la conclusión. El OSF es una fortaleza parcial: permite reproducir métricas de Study 2 y aporta prompts, posts, hojas y fragmentos de código. Pero el nodo es privado con enlace view-only, no registrado y mutable; Agent_Prompt_Template.docx se añadió el 16 de julio de 2026, meses después de arXiv v1. Los scripts dependen de objetos o archivos no definidos, within_df, agent_df, full_df, analiza_3.xlsx, y no forman un pipeline ejecutable. Se retienen perfiles completos, texto libre y plantillas serbias por privacidad y riesgo de abuso, una frontera razonable que limita la reproducción. El paper tampoco documenta comité ético, consentimiento, compensación, privacidad o retención pese a recopilar política, religión, conspiraciones, personalidad y texto libre; ni publica reglas de cribado y exclusión. La aportación útil es metodológica: muestra por qué accuracy bruta es insuficiente, publica métricas corregidas y compara agentes con baselines fuertes. Sus cifras deben leerse como asociación exploratoria en respuestas hipotéticas de una muestra serbia, no como validación de gemelos individuales ni evidencia de una capacidad desplegable de manipulación, persuasión o simulación social fiable.