Towards a Design Guideline for RPA Evaluation: A Survey of Large Language Model-Based Role-Playing Agents

This paper does not evaluate a particular synthetic personality or show that an agent faithfully represents a person. It is a literature review of how LLM-based role-playing agents (RPAs) are evaluated and a proposal for choosing metric families from agent and task design. The authors retrieved 1,676 records published from January 2021 through December 2024 from Google Scholar (1,490), the ACM Digital Library (150), IEEE Xplore (19), and ACL Anthology (17). Deduplication left 1,573 records; 163 passed title-and-abstract screening, and 122 were included after full-text review. The abstract's wording that 1,676 papers were systematically reviewed therefore needs a precise boundary: 1,676 were retrieved records, while 122 formed the final coded corpus.

Three coauthors experienced with LLM agents used inductive open coding. Two independently coded the same 20% of papers, discussed and refined the categories, split the remainder and cross-validated each other's work; a third annotator reviewed the coded data and discrepancies were resolved through discussion. The process yields six agent attributes (activity history, belief and value, demographic information, psychological traits, skill and expertise, and social relationships), seven task attributes (simulated individuals, simulated society, opinion dynamics, decision making, psychological experiments, educational training, and writing), and seven evaluation-metric categories (performance, psychological, external alignment, internal consistency, social and decision-making, content and textual, and bias/fairness/ethics). These are categories containing many concrete measures, not seven individual instruments.

The guideline has two steps: identify relevant agent and task attributes, then consult the three metric categories most frequently associated with each in the 122 papers. Its value is practical and descriptive: it encourages researchers to look beyond task performance and shows combinations used in prior work. Frequency, however, is not validity. The study does not compare metrics on construct validity, reliability, sensitivity, calibration, bias, cost, or decision utility, and it does not show that the three most common choices outperform less frequent alternatives. For social relationships, the authors state that no established agent-oriented metrics exist and propose three families from Social Exchange Theory, so this row is not derived from an equivalent empirical top-three count. The heatmap reports co-occurrences between agent and task attributes, not causal effects or a universal need for demographic or psychological traits.

The two cases are retrospective illustrations. Generative Agents is presented as aligned with common metric families; a generative social-world submission is presented as misaligned alongside reviewer criticism. The paper explicitly says these examples do not demonstrate superiority. There is no prospective use, comparison group, or measured gain in reliability or validity. The public website's stronger statement that 'perfect' alignment echoes the original work's robustness therefore exceeds the evidence.

Reproducibility is incomplete. The paper gives one generic query and aggregate flow counts but not database search dates, adapted syntax, raw exports, record-level decisions, full-text exclusion reasons, the 122-paper coding matrix, analysis code, formal study-quality appraisal, or numerical coder agreement. At the audited commit, the linked repository contains only a README, images, and a PDF, so it cannot reconstruct the 1,676-to-122 flow, central figures, or rankings. The public website offers a useful glossary with 71 agent-oriented and 261 task-oriented rows, but the CSVs contain four exact duplicates and pre-final taxonomy labels ('social and economic' rather than 'social and decision-making'). The interface supports search, filtering, and sorting, but still cites the arXiv misc item rather than the ACL article, lacks loading/error and result-count states, uses nonexistent row keys, and has keyboard, modal, and contrast shortcomings. Overall, this is a valuable taxonomy and evaluation-design checklist, with high confidence in what the full paper reports and moderate confidence in the reproducibility and generalizability of its recommendations.

Este artículo no evalúa una personalidad sintética concreta ni demuestra que un agente represente fielmente a una persona. Es una revisión de la literatura sobre cómo se evalúan los agentes de rol basados en LLM (RPA) y una propuesta para elegir familias de métricas según el diseño del agente y la tarea. Los autores recuperaron 1.676 registros publicados entre enero de 2021 y diciembre de 2024 en Google Scholar (1.490), ACM Digital Library (150), IEEE Xplore (19) y ACL Anthology (17). Tras eliminar duplicados quedaron 1.573; 163 pasaron el cribado de título y resumen y 122 fueron incluidos después de revisar el texto completo. Por tanto, la formulación del resumen, que habla de revisar sistemáticamente 1.676 artículos, debe leerse con precisión: 1.676 fueron registros recuperados y 122 constituyeron el corpus final codificado.

Tres coautores con experiencia en agentes LLM aplicaron codificación abierta inductiva. Dos codificaron de forma independiente el mismo 20% de los artículos, acordaron y refinaron categorías, dividieron el resto y validaron de forma cruzada el trabajo del otro; un tercer anotador revisó los datos y las discrepancias se resolvieron por discusión. El proceso produce seis atributos de agente (historial de actividad, creencias y valores, información demográfica, rasgos psicológicos, habilidades y experiencia, y relaciones sociales), siete atributos de tarea (individuos simulados, sociedad simulada, dinámica de opinión, toma de decisiones, experimentos psicológicos, formación educativa y escritura) y siete categorías de métricas (rendimiento, psicológicas, alineación externa, consistencia interna, sociales y de decisión, contenido y texto, y sesgo/equidad/ética). Son categorías que agrupan muchas medidas, no siete instrumentos individuales.

La guía tiene dos pasos: identificar los atributos relevantes del agente y de la tarea y consultar, para cada uno, las tres categorías de métricas más frecuentes en los 122 trabajos. Su valor es práctico y descriptivo: obliga a mirar más allá del rendimiento y muestra qué combinaciones han usado otros investigadores. Pero frecuencia no equivale a validez. El estudio no compara métricas por validez de constructo, fiabilidad, sensibilidad, calibración, sesgo, coste o utilidad; tampoco demuestra que las tres más usadas sean mejores que alternativas menos frecuentes. Para relaciones sociales, los propios autores dicen que no hay métricas orientadas al agente establecidas y proponen tres familias apoyándose en teoría del intercambio social, de modo que esa fila no procede de un top tres empírico equivalente. El mapa de calor muestra coocurrencias entre atributos y tareas, no causalidad ni necesidad universal de rasgos demográficos o psicológicos.

Los dos casos son retrospectivos e ilustrativos. Generative Agents se presenta como ejemplo alineado con las familias frecuentes; un trabajo de mundo social generativo se usa como caso desalineado junto con críticas de revisores. El artículo aclara que estos ejemplos no prueban superioridad. No hay aplicación prospectiva, grupo de comparación ni medida de mejora en fiabilidad o validez. Por ello, la afirmación de la web pública de que la alineación 'perfecta' confirma la robustez del trabajo original excede la evidencia.

La reproducibilidad es incompleta. El artículo publica una consulta genérica y recuentos agregados, pero no fechas de búsqueda por base, sintaxis adaptada, exportaciones, decisiones por registro, razones de exclusión a texto completo, matriz de los 122 trabajos, código de análisis, evaluación formal de calidad ni acuerdo numérico entre codificadores. El repositorio enlazado, en el commit auditado, solo contiene README, imágenes y un PDF: no permite reconstruir el flujo 1.676→122, las figuras ni los rankings. La web ofrece un glosario útil con 71 filas orientadas al agente y 261 a la tarea, pero sus CSV contienen cuatro duplicados exactos y etiquetas anteriores distintas de la taxonomía final ('social and economic' frente a 'social and decision-making'). La interfaz permite buscar, filtrar y ordenar, aunque conserva una cita de arXiv en vez del artículo ACL, carece de estados de carga/error y recuento de resultados, usa claves de fila inexistentes y presenta carencias de teclado, modal y contraste. En conjunto, el trabajo es una taxonomía y lista de comprobación valiosa para diseñar evaluaciones, con confianza alta sobre lo que el PDF afirma y confianza moderada sobre la reproducibilidad y generalización de sus recomendaciones.