PersonaArena: Dynamic Simulation for Evaluating and Enhancing Persona-Level Role-Playing in Large Language Models

This Findings of ACL 2026 paper presents PersonaArena, a framework that generates multi-agent social scenes, has an LLM enact an everyday persona, and scores the resulting trajectory on eight dimensions. It also uses highly rated trajectories to train Qwen3-8B with SFT and DPO. Dynamic role-playing is a meaningful technical contribution, but the strongest terms, “authentic” personas, “unbiased” evaluation, and socially adept agents, lack equivalent human ground truth. The evidence supports comparisons inside a synthetic environment, not measurement of a real person's personality or fidelity to human behavior.

The persona bank starts from the Blog Authorship Corpus: more than 19,000 authors and about 681,000 public posts. An unspecified LLM replaces names, emails, and home addresses and infers demographics, occupation, personality, values, interests, and experiences; 1,000 cards are released. The bloggers did not validate these cards and no psychometric instrument is used. The anonymization check asks ten annotators which of 20 original/anonymized card pairs better matches the underlying profile: 47% select the original and 53% the anonymized card. This may indicate semantic preservation but does not test anonymity, consent, linkage, or sensitive inference. The source corpus is explicitly suitable for authorship attribution and its Hugging Face card lists the license as unknown.

The released bank's quality conflicts with the authenticity framing. The audit finds 1,000 IDs but only 956 distinct names, 81 cards with an explicit minor-age pattern, and 172 cards containing two different numerical ages. Cards include sensitive health, mental-state, gender-identity, political, and relationship attributes. They also fabricate biography: one card calls “James Russell” a Sun Microsystems co-founder, whereas the documented founders are Andy Bechtolsheim, Vinod Khosla, Scott McNealy, and Bill Joy. A model can score highly by repeating a false card, so Knowledge Accuracy and Behavioral Accuracy are grounded in generated references that are not always coherent or true.

Each benchmark run samples only ten personas and shares generated scenarios across models. The protagonist interacts with two or three NPCs and an Environment Agent, normally Qwen3-32B. Checkpoints seek coverage of background, personality, values, interests, and experiences. Three judges, DeepSeek-R1, Qwen3-32B, and Mistral-small3.2, score Knowledge Accuracy, Behavioral Accuracy, Emotional Expression, Personality Traits, Immersion, Behavioral Coherence, Adaptability, and Interaction Richness from 1 to 5; GPT-4o-mini arbitrates disagreements. Generation prompts already request personality consistency, emotional realism, detail, adaptation, and non-repetition, creating direct leakage between what the pipeline requests and rewards.

GPT-5.1 has the highest mean at 3.963, narrowly ahead of GPT-4.1 at 3.948; DeepSeek-V3.2 is the top listed open model at 3.902. Overall human correlation is 0.683 for the panel and 0.669 for Qwen3-32B alone. The prose says the panel is stronger on all eight metrics, but the table shows an individual judge correlating better on BA, IM, BC, and IR. Four graduate annotators rate each trajectory with at least three human ratings, but the trajectory count, assignment, inter-rater reliability, and correlation intervals are omitted. There are also no tests, p-values, confidence intervals, multiplicity correction, power analysis, or clear independent unit. With ten personas, shared scenarios, eight metrics, and many models, small differences are not inferential evidence.

The paper reports that 1,228 SFT instances extracted from the top 50 trajectories improve Qwen3-8B's average by 21.96%, while 665 DPO pairs derived from 50 trajectory pairs improve it by 27.83%. This is circular: PersonaArena selects the examples and preferences, then chiefly evaluates the improvement with PersonaArena. PersonaGym rises from 3.66 to 3.88/4.09 and RoleBench win rate from 0.0% to 28.6%/37.1%, which provides external signal, but both reuse PersonaArena profiles and automatic evaluators. Ablations retain the ordering of four selected models while changing score scale by up to 0.177 for judge composition, 0.291 with a weak arbiter, 0.136 for the Environment Agent, and 0.121 when early stopping is removed.

The public code makes the simulator and evaluator inspectable and releases 1,000 cards and 1,000 scenes under the repository's MIT license. However, there is no paper-linked release, seeds, exact configs, experimental trajectories, raw results, human labels, SFT/DPO data or code, checkpoints, tests, or CI. The batch script references a missing play_qwen3_14b.yaml. More importantly, if all parsing attempts fail, the evaluator silently assigns eight scores of 3; when a metric is arbitrated, it replaces every judge's score with the arbiter's integer before averaging. Failures can therefore appear as valid neutral judgments, while disputed metrics cease to be a multi-judge mean.

The checklist says there are no risks because the work uses public data and harmless synthetic characters, marks identifying/offensive-content checks not applicable, and reports neither consent nor ethics-board approval/exemption. That conflicts with the use of real posting histories, minors, and inferred psychological attributes. The faithful conclusion is that PersonaArena provides a useful synthetic bank and arena for comparing narrative consistency and optimizing models toward its judges' preferences. It does not establish human personality, social realism, anonymity, evaluator impartiality, stable statistical superiority, or socially better models outside this pipeline, and the released artifact cannot reproduce its numerical results.

Este trabajo publicado en Findings of ACL 2026 presenta PersonaArena, un marco que genera escenas sociales multiagente, hace que un LLM interprete una persona cotidiana y puntúa la trayectoria en ocho dimensiones. También usa las trayectorias mejor valoradas para entrenar Qwen3-8B mediante SFT y DPO. Es una contribución técnica relevante para role-playing dinámico, pero sus términos más fuertes, persona «auténtica», evaluación «imparcial» y agentes socialmente hábiles, no están respaldados por un ground truth humano equivalente. La evidencia permite comparar salidas dentro del entorno sintético, no medir la personalidad real de una persona ni la fidelidad del comportamiento humano.

El banco parte del Blog Authorship Corpus: más de 19.000 autores y unas 681.000 entradas públicas. Un LLM no identificado sustituye nombres, correos y domicilios e infiere demografía, ocupación, personalidad, valores, intereses y experiencias; se publican 1.000 fichas. Estas fichas no fueron verificadas por sus autores ni mediante instrumentos psicométricos. La comprobación de anonimización pide a diez anotadores decidir cuál de 20 pares original/anonimizado encaja mejor con el perfil: 47% elige el original y 53% el anonimizado. Eso puede mostrar conservación semántica, pero no prueba anonimato, consentimiento, ausencia de linkage ni protección frente a inferencias sensibles. El corpus de origen está diseñado para atribución de autor y su ficha de Hugging Face declara licencia desconocida.

La calidad del banco publicado contradice parte del discurso de autenticidad. La auditoría encuentra 1.000 IDs pero solo 956 nombres distintos, 81 fichas con edad explícita de menor y 172 con dos edades numéricas diferentes. Hay atributos sensibles sobre salud, estado mental, identidad de género, política y relaciones. También aparecen hechos fabricados: una ficha convierte a «James Russell» en cofundador de Sun Microsystems, cuyos fundadores documentados son Andy Bechtolsheim, Vinod Khosla, Scott McNealy y Bill Joy. Un modelo puede obtener alta fidelidad a la ficha repitiendo información falsa; por tanto, Knowledge Accuracy y Behavioral Accuracy se evalúan contra un referente generado que no siempre es coherente o verdadero.

En cada ejecución se muestrean solo diez personas y se generan escenarios compartidos entre modelos. El protagonista interactúa con dos o tres NPCs y un Environment Agent, normalmente Qwen3-32B. Un sistema de checkpoints busca cubrir antecedentes, personalidad, valores, intereses y experiencias. Tres jueces, DeepSeek-R1, Qwen3-32B y Mistral-small3.2, puntúan de 1 a 5 Knowledge Accuracy, Behavioral Accuracy, Emotional Expression, Personality Traits, Immersion, Behavioral Coherence, Adaptability e Interaction Richness; GPT-4o-mini arbitra desacuerdos. Los prompts de generación ya ordenan mantener personalidad, realismo emocional, detalle, adaptación y no repetición: existe fuga directa entre lo que el sistema solicita y lo que luego premia.

GPT-5.1 obtiene el promedio más alto, 3,963, seguido muy de cerca por GPT-4.1 con 3,948; DeepSeek-V3.2 es el abierto mejor situado con 3,902. La alineación global con humanos es 0,683 para el panel y 0,669 para Qwen3-32B solo. El texto afirma que el panel es superior en las ocho métricas, pero su propia tabla muestra que un juez individual correlaciona mejor en BA, IM, BC e IR. Cuatro estudiantes de posgrado valoran cada trayectoria con al menos tres jueces humanos, pero no se informa cuántas trayectorias, la asignación, fiabilidad interanotador ni intervalos de las correlaciones. Tampoco hay tests, p-values, intervalos de confianza, corrección por multiplicidad, análisis de potencia o unidad independiente clara. Con diez personas, escenarios compartidos, ocho métricas y muchos modelos, las diferencias pequeñas no son evidencia inferencial.

El paper reporta que 1.228 instancias SFT extraídas de las 50 mejores trayectorias elevan el promedio de Qwen3-8B un 21,96%, y que 665 pares DPO derivados de 50 pares de trayectorias lo elevan un 27,83%. El problema es circular: PersonaArena selecciona los ejemplos y preferencias y después mide la mejora principalmente con PersonaArena. En PersonaGym la puntuación pasa de 3,66 a 3,88/4,09 y en RoleBench el win rate de 0,0% a 28,6%/37,1%, lo que aporta señal externa, pero ambos ensayos reutilizan perfiles de PersonaArena y evaluación automática. Las ablaciones conservan el orden de cuatro modelos seleccionados, aunque cambian la escala hasta 0,177 por composición de jueces, 0,291 con un árbitro débil, 0,136 por Environment Agent y 0,121 al quitar early stopping.

El código público permite inspeccionar el simulador y el evaluador y ofrece 1.000 fichas y 1.000 escenas bajo la licencia MIT del repositorio. Sin embargo, no hay release ligado al paper, semillas, configs exactas, trayectorias experimentales, resultados brutos, anotaciones humanas, código/datos de SFT-DPO, checkpoints, tests o CI. El script batch referencia un play_qwen3_14b.yaml inexistente. Más grave: si no logra parsear la respuesta de un juez, el evaluador asigna silenciosamente ocho 3; cuando arbitra una métrica, sustituye la puntuación de todos los jueces por el entero del árbitro antes de promediar. Los fallos pueden parecer juicios neutrales válidos y los desacuerdos dejan de ser un promedio multi-juez.

El checklist declara que no hay riesgos porque usa datos públicos y personajes sintéticos «inofensivos», marca como no aplicables los controles de identificación/ofensividad y declara que no hubo consentimiento ni revisión o exención ética. Esto entra en tensión con el uso de historiales reales, menores y atributos psicológicos inferidos. La conclusión fiel es que PersonaArena implementa un banco y un entorno sintéticos útiles para comparar consistencia narrativa y optimizar modelos hacia preferencias de sus jueces. No demuestra personalidad humana, realismo social, anonimato, imparcialidad del evaluador, superioridad estadística estable ni que los modelos entrenados sean socialmente más hábiles fuera de este pipeline; sus resultados numéricos no se pueden reproducir con el artefacto liberado.