Este trabajo publicado en Findings of ACL 2026 presenta PersonaArena, un marco que genera escenas sociales multiagente, hace que un LLM interprete una persona cotidiana y puntúa la trayectoria en ocho dimensiones. También usa las trayectorias mejor valoradas para entrenar Qwen3-8B mediante SFT y DPO. Es una contribución técnica relevante para role-playing dinámico, pero sus términos más fuertes, persona «auténtica», evaluación «imparcial» y agentes socialmente hábiles, no están respaldados por un ground truth humano equivalente. La evidencia permite comparar salidas dentro del entorno sintético, no medir la personalidad real de una persona ni la fidelidad del comportamiento humano.
El banco parte del Blog Authorship Corpus: más de 19.000 autores y unas 681.000 entradas públicas. Un LLM no identificado sustituye nombres, correos y domicilios e infiere demografía, ocupación, personalidad, valores, intereses y experiencias; se publican 1.000 fichas. Estas fichas no fueron verificadas por sus autores ni mediante instrumentos psicométricos. La comprobación de anonimización pide a diez anotadores decidir cuál de 20 pares original/anonimizado encaja mejor con el perfil: 47% elige el original y 53% el anonimizado. Eso puede mostrar conservación semántica, pero no prueba anonimato, consentimiento, ausencia de linkage ni protección frente a inferencias sensibles. El corpus de origen está diseñado para atribución de autor y su ficha de Hugging Face declara licencia desconocida.
La calidad del banco publicado contradice parte del discurso de autenticidad. La auditoría encuentra 1.000 IDs pero solo 956 nombres distintos, 81 fichas con edad explícita de menor y 172 con dos edades numéricas diferentes. Hay atributos sensibles sobre salud, estado mental, identidad de género, política y relaciones. También aparecen hechos fabricados: una ficha convierte a «James Russell» en cofundador de Sun Microsystems, cuyos fundadores documentados son Andy Bechtolsheim, Vinod Khosla, Scott McNealy y Bill Joy. Un modelo puede obtener alta fidelidad a la ficha repitiendo información falsa; por tanto, Knowledge Accuracy y Behavioral Accuracy se evalúan contra un referente generado que no siempre es coherente o verdadero.
En cada ejecución se muestrean solo diez personas y se generan escenarios compartidos entre modelos. El protagonista interactúa con dos o tres NPCs y un Environment Agent, normalmente Qwen3-32B. Un sistema de checkpoints busca cubrir antecedentes, personalidad, valores, intereses y experiencias. Tres jueces, DeepSeek-R1, Qwen3-32B y Mistral-small3.2, puntúan de 1 a 5 Knowledge Accuracy, Behavioral Accuracy, Emotional Expression, Personality Traits, Immersion, Behavioral Coherence, Adaptability e Interaction Richness; GPT-4o-mini arbitra desacuerdos. Los prompts de generación ya ordenan mantener personalidad, realismo emocional, detalle, adaptación y no repetición: existe fuga directa entre lo que el sistema solicita y lo que luego premia.
GPT-5.1 obtiene el promedio más alto, 3,963, seguido muy de cerca por GPT-4.1 con 3,948; DeepSeek-V3.2 es el abierto mejor situado con 3,902. La alineación global con humanos es 0,683 para el panel y 0,669 para Qwen3-32B solo. El texto afirma que el panel es superior en las ocho métricas, pero su propia tabla muestra que un juez individual correlaciona mejor en BA, IM, BC e IR. Cuatro estudiantes de posgrado valoran cada trayectoria con al menos tres jueces humanos, pero no se informa cuántas trayectorias, la asignación, fiabilidad interanotador ni intervalos de las correlaciones. Tampoco hay tests, p-values, intervalos de confianza, corrección por multiplicidad, análisis de potencia o unidad independiente clara. Con diez personas, escenarios compartidos, ocho métricas y muchos modelos, las diferencias pequeñas no son evidencia inferencial.
El paper reporta que 1.228 instancias SFT extraídas de las 50 mejores trayectorias elevan el promedio de Qwen3-8B un 21,96%, y que 665 pares DPO derivados de 50 pares de trayectorias lo elevan un 27,83%. El problema es circular: PersonaArena selecciona los ejemplos y preferencias y después mide la mejora principalmente con PersonaArena. En PersonaGym la puntuación pasa de 3,66 a 3,88/4,09 y en RoleBench el win rate de 0,0% a 28,6%/37,1%, lo que aporta señal externa, pero ambos ensayos reutilizan perfiles de PersonaArena y evaluación automática. Las ablaciones conservan el orden de cuatro modelos seleccionados, aunque cambian la escala hasta 0,177 por composición de jueces, 0,291 con un árbitro débil, 0,136 por Environment Agent y 0,121 al quitar early stopping.
El código público permite inspeccionar el simulador y el evaluador y ofrece 1.000 fichas y 1.000 escenas bajo la licencia MIT del repositorio. Sin embargo, no hay release ligado al paper, semillas, configs exactas, trayectorias experimentales, resultados brutos, anotaciones humanas, código/datos de SFT-DPO, checkpoints, tests o CI. El script batch referencia un play_qwen3_14b.yaml inexistente. Más grave: si no logra parsear la respuesta de un juez, el evaluador asigna silenciosamente ocho 3; cuando arbitra una métrica, sustituye la puntuación de todos los jueces por el entero del árbitro antes de promediar. Los fallos pueden parecer juicios neutrales válidos y los desacuerdos dejan de ser un promedio multi-juez.
El checklist declara que no hay riesgos porque usa datos públicos y personajes sintéticos «inofensivos», marca como no aplicables los controles de identificación/ofensividad y declara que no hubo consentimiento ni revisión o exención ética. Esto entra en tensión con el uso de historiales reales, menores y atributos psicológicos inferidos. La conclusión fiel es que PersonaArena implementa un banco y un entorno sintéticos útiles para comparar consistencia narrativa y optimizar modelos hacia preferencias de sus jueces. No demuestra personalidad humana, realismo social, anonimato, imparcialidad del evaluador, superioridad estadística estable ni que los modelos entrenados sean socialmente más hábiles fuera de este pipeline; sus resultados numéricos no se pueden reproducir con el artefacto liberado.