MCP-Persona: Benchmarking LLM Agents on Real-World Personal Applications via Environment Simulation

MCP-Persona is a benchmark of tool-using agents in stateful local environments inspired by personal applications. Persona here does not mean human personality or a psychometric profile: it is a context tree containing users, chats, calendars, posts, files, and relations that tools can read or modify. Construction has three stages. Tool-Traverse executes human-authored valid calls and LLM-generated invalid calls against real MCP servers; another LLM summarizes the traces and writes Python kernels intended to reproduce responses and errors. Context-Tree derives entity hierarchies from schemas and traces, fills fields through enumeration, free-form text, constrained random generation, or sanitized authentic text, and links entities. Persona-Gen first samples tool chains, generates instructions that require them, injects context values, hides parameters a user might omit, and submits instruction-context-chain triples to human review. The released English file contains 173 unique task IDs and instructions, 959 call positions, 139 tools, and 18 server prefixes; mean chain length is 5.54 and the maximum is 18. Agents receive necessary and distractor context and can act for up to twenty rounds. GPT-4o scores checkpoints from zero to one; Acc averages checkpoints per task, SR@0.8 counts tasks above .8, and Exec-Acc evaluates searches and state changes observed in the sandbox. The main table compares thirteen models. None exceeds 50 percent Acc or Exec-Acc. Claude Sonnet 4.5 leads with 38.66 Acc, 10.40 SR@0.8, and 41.50 Exec-Acc; GPT-5 obtains 36.99, 6.94, and 41.45. Qwen3-Max-Latest is the strongest listed open model on Acc and Exec-Acc at 27.54 and 29.23. Performance varies sharply by family: o4-mini reaches 53.83 on Email, while content management and many cross-server combinations are difficult. Tool-Traverse validation uses only fifty Lark traces, twenty-five valid and twenty-five failed, over fourteen tools, reconstructing each exact precondition. It reports 94 percent accuracy and 93.8 F1 versus 58 percent and 53.3 for a documentation-only simulator; serialized-JSON similarities are .739 TF-IDF, .737 ROUGE, .741 BLEU, and .870 METEOR. This is promising evidence for that slice, not behavioral equivalence across all servers. The so-called human-LLM correlation revisits only GPT-5 decisions and reports 82 disagreements among 970 checkpoints, or 91.5 percent agreement, but provides no coefficient, kappa, annotator count, independence, uncertainty, or adjudication. Ablations are also mixed. On Lark, the authors' guide raises GPT-5 from 37.50/64.29 to 45.00/80.36 Acc/Exec-Acc; on Rednote some guides reduce scores. Restricting tools to ground-truth servers improves many execution cells but uses oracle information and hurts others; adding distractors lowers GPT-5 Acc from 41.04 to 36.99 while raising Exec-Acc from 29.25 to 39.15. The release audit finds discrepancies that prevent table reproduction. The paper refers to twenty-four servers with twelve personalized servers, the conclusion to twelve simulated servers, the README to eighteen and 139 tools, and an ablation to 140 tools. Released tasks do contain eighteen prefixes and 139 tools, but the repository ships only seventy-nine kernels in eight simulator directories; universal_email appears in forty-two chain positions and has no released simulator. More critically, the released evaluator constructs 724 checkpoints, not the 970 in the human study. Thirty-five tasks store the whole plan as one string and the code scores it as one checkpoint. English data are not fully localized either: 172 of 173 ground-truth arrays are identical to the Chinese version; sixty-five retain Chinese in execution targets and 149 in checkpoint annotations. Task 1 literally requests the English title '2025 Q4 Team Review Meeting' while its checkpoint requires '2025Q4团队复盘会议', so faithful execution can conflict with the hidden target. The repository is not runnable end to end. The README clone URL returns Repository not found; one source file fails compilation with two indentation errors; evaluators import agentoolkit and prompts/configuration from private /data/JohnDoe paths; the runner that generates results and sandboxes is absent; configuration names nonexistent task files; and matplotlib plus agentoolkit are missing from dependencies. API and judge arguments are required but not wired into the pipeline. When an agent result or sandbox context is missing, evaluation skips it rather than assigning zero and never verifies final coverage, potentially inflating means. Outputs, item scores, human labels, the fifty fidelity traces, cost logs, authors' skills, and aggregation scripts are not published; there is also no actual license, test suite, CI, lockfile, or container. Rankings have no repeated runs, intervals, or tests, and privacy, authorization, phishing, and destructive-action risks are discussed but not evaluated. The defensible contribution is an inspectable set of complex tasks, contexts, chains, and many simulators, plus limited evidence that traversal improves a Lark simulator. It does not demonstrate synthetic humans, user realism, psychometric validity, safety, empirical privacy, equivalence with complete real systems, or end-to-end reproducibility.

MCP-Persona es un benchmark de agentes que usan herramientas en entornos locales con estado inspirados en aplicaciones personales. En este trabajo, persona no significa personalidad humana ni perfil psicométrico: es un árbol de contexto con usuarios, chats, calendarios, publicaciones, ficheros y relaciones que las herramientas pueden consultar o modificar. La construcción tiene tres etapas. Tool-Traverse ejecuta llamadas válidas creadas por anotadores y llamadas inválidas generadas por LLM contra servidores MCP reales; otro LLM resume las trazas y genera kernels Python que pretenden reproducir respuestas y errores. Context-Tree deriva jerarquías de entidades de esquemas y trazas, rellena campos mediante enumeración, texto libre, generación aleatoria o texto auténtico saneado y enlaza entidades. Persona-Gen muestrea primero cadenas de herramientas, genera instrucciones que las requieren, inserta valores del contexto, oculta parámetros que un usuario podría omitir y somete las ternas instrucción-contexto-cadena a revisión humana. El fichero inglés publicado contiene 173 tareas con identificadores e instrucciones únicos, 959 posiciones de llamada, 139 herramientas y 18 prefijos de servidor; la cadena media tiene 5,54 pasos y el máximo es 18. Los agentes reciben contexto necesario y distractores y pueden actuar hasta 20 rondas. GPT-4o puntúa checkpoints de 0 a 1; Acc promedia esos checkpoints por tarea, SR@0.8 cuenta tareas por encima de 0,8 y Exec-Acc evalúa búsquedas y cambios observados en el sandbox. La tabla principal compara trece modelos. Ninguno supera 50% en Acc o Exec-Acc. Claude Sonnet 4.5 lidera con 38,66 Acc, 10,40 SR@0.8 y 41,50 Exec-Acc; GPT-5 obtiene 36,99, 6,94 y 41,45. Qwen3-Max-Latest es el abierto mejor situado en Acc y Exec-Acc, 27,54 y 29,23. El rendimiento varía mucho por familia: o4-mini alcanza 53,83 en Email, mientras gestión de contenido y muchas combinaciones cross-server son difíciles. La validación de Tool-Traverse usa solo 50 trazas Lark, 25 válidas y 25 fallidas, sobre 14 herramientas, reconstruyendo para cada una el estado previo exacto. Informa 94% de exactitud y F1 93,8 frente a 58% y 53,3 para un simulador basado solo en documentación; las similitudes de JSON son .739 TF-IDF, .737 ROUGE, .741 BLEU y .870 METEOR. Es evidencia prometedora para ese bloque, no equivalencia conductual de todos los servidores. La llamada «correlación» humano-LLM revisa únicamente decisiones de GPT-5 y reporta 82 discrepancias entre 970 checkpoints, 91,5% de coincidencia, pero no da coeficiente, kappa, número de anotadores, independencia, incertidumbre o adjudicación. Las ablations también son mixtas. En Lark, la guía propia eleva GPT-5 de 37,50/64,29 a 45,00/80,36 Acc/Exec-Acc; en Rednote algunas guías reducen resultados. Restringir a los servidores del ground truth mejora muchas celdas de ejecución, pero usa información oráculo y perjudica otras; añadir distractores baja Acc de GPT-5 de 41,04 a 36,99 y a la vez eleva Exec-Acc de 29,25 a 39,15. La auditoría del release encuentra divergencias que impiden reproducir las tablas. El paper habla de 24 servidores con 12 personalizados, la conclusión de 12 simulados, el README de 18 y 139 herramientas, y una ablación de 140. Los datos publicados sí contienen 18 prefijos y 139 herramientas, pero el repositorio solo libera 79 kernels en ocho directorios; universal_email aparece 42 veces en las cadenas y no tiene simulador publicado. Más crítico: el evaluador publicado construye 724 checkpoints, no los 970 del estudio humano. En 35 tareas el plan completo está guardado como una cadena y el código lo trata como un único checkpoint. Los datos ingleses tampoco están plenamente localizados: 172/173 arrays de ground truth son idénticos a los chinos; 65 conservan chino en el objetivo de ejecución y 149 en anotaciones. La tarea 1 pide literalmente el título inglés «2025 Q4 Team Review Meeting» y su checkpoint exige «2025Q4团队复盘会议», de modo que una ejecución fiel puede chocar con el objetivo oculto. El repositorio no es ejecutable end-to-end. El URL de clonación del README devuelve Repository not found; un fichero falla al compilar por dos errores de indentación; los evaluadores importan agentoolkit y prompts/configuración desde rutas privadas /data/JohnDoe; falta el runner que genera resultados y sandboxes; la configuración referencia tareas inexistentes; faltan matplotlib y agentoolkit en dependencias. Los argumentos de API y juez son obligatorios pero no se conectan al pipeline. Si falta una salida del agente o un contexto sandbox, la evaluación la omite en vez de puntuar cero, sin comprobar cobertura final, lo que puede inflar medias. No se publican salidas, puntuaciones por ítem, etiquetas humanas, 50 trazas de fidelidad, costes, skills propios o scripts de agregación; tampoco hay licencia real, tests, CI, lockfile o contenedor. No hay repeticiones, intervalos o pruebas para los rankings, y los riesgos de privacidad, autorización, phishing y acciones destructivas solo se discuten, no se evalúan. La contribución defendible es un conjunto inspeccionable de tareas complejas, contextos, cadenas y muchos simuladores, más evidencia limitada de que el traversal mejora un simulador Lark. No demuestra personas humanas sintéticas, realismo de usuario, validez psicométrica, seguridad, privacidad empírica, equivalencia con sistemas reales completos ni reproducibilidad end-to-end.