Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents

The paper addresses a genuine weakness in agent benchmarks: LLM user simulators tend to be overly cooperative, homogeneous, and willing to disclose all relevant information, which can turn a difficult interaction into an artificially easy test. It introduces Persona Policies (PPol), a layer that leaves task facts, tools, and rewards unchanged while adding a role-play policy governing how the simulator communicates. Instead of manually writing profiles, PPol evolves a Python program that receives a task context, behavioral axes, and a population size N. A first LLM call creates archetypes and assigns axes; later calls expand them into 150-250-word instructions with operational rules such as incremental disclosure, fragmented messages, skepticism, refusal to repeat identifiers, or reactions to assistant errors.

Search uses OpenEvolve and MAP-Elites. Gemini 3 Flash generates personas, reflection, and code edits; the evaluated user backends are DeepSeek-V3.1, GPT-5.4-Mini, and Qwen3-Next-80B-A3B-Instruct; Gemma 4 31B is the assistant and supports the environment interface and checks. Every dialogue is reduced to 19 regex/statistical features grouped into communication style, information disclosure, clarification, and error reaction. A Random Forest trained on human conversations and default-simulator trajectories outputs P(human). A second objective computes two-sided Chamfer coverage between generated-persona and human point clouds. Validation and test weight the two components equally. During search, a curriculum increases N from 5 to 8 to 10 and gradually raises the coverage weight.

Experiments use retail and airline in tau2-bench, with 74/40 train/test tasks in retail and 30/20 in airline. The human reference is TAU-USI: 495 conversations from 451 participants over 165 tasks, with three independent conversations per task. Search evaluates five tasks per call, holds out 20% of train tasks for validation, and allows up to 70 iterations. At test time, every persona condition creates ten personas per task, up to 400 retail and 200 airline rollouts. Against the default simulator, direct prompting, and the unevolved generator, evolved PPol has the highest paper-defined fitness in every reported block. In retail-Qwen, score rises from 0.077 to 0.693 and diagnostic USI from 35.1% to 76.5%; in airline-GPT-5.4-Mini, from 0.243 to 0.574 and 54.3% to 72.5%; in the combined DeepSeek block, from 0.135 to 0.614 and 57.1% to 74.5%. The headline 33-62 percentage-point improvements are gains on the authors' composite proxy, not task success or an independent realism scale.

The human validation supplies useful external evidence, but its scope is narrower than the headline. Twenty Prolific participants were recruited at $20/hour under an IRB exemption; four were excluded for non-completion or failure on a deliberately obvious bot control. The final sample has 16 annotators, 87 unique conversations, and 159 ratings. The figure reconstructs as 52/65 human traces, 41/51 PPol traces, and 20/43 default-simulator traces labelled human: 80.0%, 80.4%, and 46.5%. The reported Welch comparison of PPol and baseline reproduces exactly from these counts, t=3.556 and p=0.000637. The paper also reports point-biserial r=0.49 between P(human) and binary judgments. However, the test treats ratings as independent even though each annotator contributes multiple judgments and some conversations receive repeated ratings; it uses neither mixed effects nor clustered errors. Nor is there an equivalence test between PPol and humans: similar percentages do not prove equivalence, and exact binomial intervals are broad. Assignment data, transcript scores, and analysis code are not released.

The agent-training case study fine-tunes Gemma 4 31B with LoRA on successful trajectories. In retail, adding PPol raises mean OOD success from 0.213 to 0.250, a 0.037 absolute and 17% relative gain. The largest change is Confusion, 0.275 to 0.400; Incoherent and Impatient do not improve. Airline changes only from 0.400 to 0.413, and the combined-domain model from 0.317 to 0.341. The abstract's +17% is retail-specific. With 40 and 20 test tasks, no repeated training seeds, intervals, or tests, the stability of small differences is unknown. The manuscript is also inconsistent: one appendix says 32 optimizer steps and another 48; released YAMLs use 48. The appendix claims lowest-validation-loss checkpoint selection, but code evaluates every eight steps, saves only at step 48, and does not configure automatic best-model loading. Equal training volume is not enforced either: the baseline collector produces one rollout per task, PPol can produce ten, and the builder merges every successful row without balancing.

The central metric concern is directly verifiable in code. Chamfer distance operates on all 19 raw features without standardization even though counts and rates are mixed. In the released human corpus, opening_length and words_per_turn account for 99.847% of total geometric variance in retail and 99.827% in airline; opening_length alone contributes 86.301% and 72.864%. The advertised broad 19-behavior coverage objective is therefore dominated by two length measures. Random Forest and Chamfer use the same 19-feature vocabulary, and evolution receives feedback from these metrics, so the system can optimize the proxy while missing unmeasured semantic or psychological dimensions. Human evaluation partly mitigates this concern only for DeepSeek on retail.

The repository is valuable as an implementation: it exposes the generator, feature extractor, discriminator, fitness, OpenEvolve integration, benchmark, injection layer, and SFT pipeline; all Python compiles and all five tests pass. It is not a result-reproduction package. Baseline fingerprints, classifiers, evolved checkpoints, raw responses, logs, curves, benchmark outputs, human-study rows, SFT datasets, adapters, and table-generation scripts are absent or gitignored. Dependencies use open lower bounds, tau2 and tau-trait remain placeholder URLs, LLaMA-Factory has no pinned commit, and hosted model aliases are mutable. There is no root license. The repository also directly commits a 14 MB JSON containing 495 human conversations matching TAU-USI's structure and counts without carrying its visible terms. The official source is gated, CC BY-NC 4.0, research-only, prohibits LLM training, requires attribution, and requires its terms to accompany redistribution. That is a material provenance/compliance gap, not a legal conclusion.

A balanced reading is that PPol contributes an interesting, inspectable way to turn static profiles into operational conversational policies. The evidence shows large improvements on its designed proxy, a compelling but statistically under-modelled human signal in one condition, and promising but small and uneven robustness gains outside retail. It does not establish general human realism, equivalence to real users, or stable cross-domain robustness. Stronger claims require normalized and external metrics, clustered human-study analysis, multiple SFT seeds, complete artifacts, pinned versions, and data distribution that preserves the source terms.

El trabajo parte de un problema real de los benchmarks de agentes: los usuarios simulados por LLM suelen ser demasiado cooperativos, homogéneos y dispuestos a proporcionar toda la información, por lo que pueden convertir una interacción difícil en una prueba artificialmente fácil. Propone Persona Policies (PPol), una capa que no cambia los hechos, herramientas ni recompensa de la tarea, sino que añade al prompt del simulador una política de actuación sobre cómo comunicarse. En lugar de escribir perfiles a mano, PPol evoluciona un programa Python que recibe el contexto de una tarea, una lista de ejes conductuales y un número N, y genera una población de instrucciones de role-play. Una primera llamada crea arquetipos y asigna ejes; llamadas posteriores los expanden en instrucciones de 150-250 palabras con reglas operativas como revelar datos gradualmente, escribir mensajes fragmentados, mostrarse escéptico, negarse a repetir identificadores o reaccionar a errores del agente.

La búsqueda se implementa con OpenEvolve y MAP-Elites. Gemini 3 Flash propone personas, reflexión y cambios de código; los simuladores evaluados son DeepSeek-V3.1, GPT-5.4-Mini y Qwen3-Next-80B-A3B-Instruct; Gemma 4 31B actúa como asistente y participa en la interfaz y comprobaciones del entorno. Cada conversación se reduce a 19 rasgos regex o estadísticos agrupados en estilo comunicativo, revelación de información, aclaración y reacción ante errores. Un Random Forest entrenado con conversaciones humanas y el simulador base produce P(humano). El segundo objetivo es una cobertura Chamfer bidireccional entre la nube de personas generadas y conversaciones humanas. En validación y test, la fitness pondera ambos componentes al 50%. Durante entrenamiento, un currículo aumenta N de 5 a 8 y 10 y eleva progresivamente el peso de cobertura.

Los experimentos usan retail y airline de tau2-bench, con 74/40 tareas train/test en retail y 30/20 en airline. La referencia humana es el corpus TAU-USI: 495 conversaciones de 451 participantes sobre 165 tareas, con tres conversaciones independientes por tarea. La búsqueda usa cinco tareas por evaluación, reserva un 20% del train para validación y permite hasta 70 iteraciones. En test, cada condición con personas genera diez por tarea, hasta 400 rollouts en retail y 200 en airline. Frente al simulador base, direct prompting y el generador inicial sin evolucionar, PPol evolucionado obtiene la mayor fitness en todos los bloques publicados. En retail-Qwen, el score pasa de 0,077 a 0,693 y el USI diagnóstico de 35,1% a 76,5%; en airline-GPT-5.4-Mini, de 0,243 a 0,574 y de 54,3% a 72,5%; en el bloque conjunto con DeepSeek, de 0,135 a 0,614 y de 57,1% a 74,5%. Las mejoras headline de 33-62 puntos son, por tanto, aumentos de la métrica compuesta definida por los autores, no de éxito de tarea ni de una medida independiente de realismo.

La validación humana aporta evidencia externa útil, pero más estrecha que el titular. Veinte personas fueron reclutadas en Prolific a 20 dólares por hora bajo una exención del IRB; cuatro se excluyeron por no completar el estudio o fallar una conversación de control deliberadamente obvia. Quedaron 16 evaluadores, 87 conversaciones únicas y 159 votos. La figura permite reconstruir 52/65 trazas humanas, 41/51 PPol y 20/43 del simulador base etiquetadas como humanas: 80,0%, 80,4% y 46,5%. El Welch publicado para PPol frente al base se reproduce exactamente con esos conteos, t=3,556 y p=0,000637. También se informa de correlación point-biserial r=0,49 entre P(humano) y el juicio binario. Sin embargo, el test trata cada voto como independiente aunque hay múltiples votos por evaluador y conversaciones repetidas; no usa un modelo mixto ni errores agrupados. Tampoco se hace una prueba de equivalencia entre PPol y humanos: porcentajes cercanos no demuestran equivalencia, y sus intervalos binomiales son amplios. Los datos de asignación, scores por transcripción y análisis del estudio no están publicados.

El caso de entrenamiento ajusta Gemma 4 31B con LoRA sobre trayectorias exitosas. En retail, añadir PPol eleva el promedio OOD de 0,213 a 0,250: +0,037 absoluto y +17% relativo. La mayor mejora es Confusion, 0,275 a 0,400; Incoherent e Impatient no cambian. En airline el promedio pasa solo de 0,400 a 0,413 y en el modelo conjunto de 0,317 a 0,341. El +17% del abstract es específico de retail. Con 40 y 20 tareas, sin semillas repetidas, intervalos ni tests, no se conoce la estabilidad de diferencias pequeñas. Además, el texto se contradice: un apéndice dice 32 pasos de optimización y otro 48; los YAML publicados usan 48. El apéndice afirma seleccionar el checkpoint con menor pérdida de validación, pero el código evalúa cada ocho pasos, guarda solo en el 48 y no configura selección automática. La afirmación de igual volumen tampoco está garantizada: el colector base produce un rollout por tarea, PPol hasta diez, y el constructor mezcla todas las trayectorias exitosas sin balancearlas.

La principal objeción métrica es verificable en el código. La distancia Chamfer se calcula sobre los 19 rasgos crudos, sin estandarización, aunque mezcla conteos y tasas. En el corpus humano publicado, opening_length y words_per_turn concentran el 99,847% de la varianza geométrica en retail y el 99,827% en airline; opening_length por sí solo supone 86,301% y 72,864%. La supuesta cobertura amplia de 19 comportamientos está, de hecho, dominada por dos medidas de longitud. El Random Forest y Chamfer comparten el mismo vocabulario de 19 rasgos y la evolución recibe feedback de esas métricas, de modo que el sistema puede optimizar el proxy sin capturar dimensiones semánticas o psicológicas no medidas. El estudio humano mitiga parcialmente esta objeción solo para DeepSeek en retail.

El repositorio es valioso como implementación: publica el generador, extractor, clasificador, fitness, integración con OpenEvolve, benchmark, inyección y pipeline SFT; todo el Python compila y sus cinco tests pasan. No es un paquete de reproducción de resultados. Están ignorados y ausentes los fingerprints base, clasificadores, checkpoints evolucionados, respuestas crudas, logs, curvas, resultados de benchmark, datos del estudio, conjuntos SFT, adaptadores y scripts de tablas. Las dependencias usan mínimos abiertos, tau2 y tau-trait aparecen como URLs placeholder, LLaMA-Factory no está fijado y los modelos son aliases mutables. Tampoco hay licencia raíz. El repo incluye directamente un JSON de 14 MB con las 495 conversaciones humanas que coincide en estructura y conteos con TAU-USI, pero no adjunta sus condiciones: el origen oficial es gated, CC BY-NC 4.0, solo investigación, prohíbe entrenamiento de LLM, exige atribución y requiere conservar los términos al redistribuir. Esto es un problema material de procedencia y cumplimiento, no una declaración jurídica.

La lectura equilibrada es que PPol ofrece una idea interesante y código inspeccionable para convertir perfiles estáticos en políticas conversacionales operativas. Los resultados muestran mejoras grandes en el proxy diseñado, una señal humana convincente pero estadísticamente submodelada en una condición, y una mejora de robustez prometedora pero pequeña y desigual fuera de retail. No demuestra realismo humano general, equivalencia con personas reales ni robustez estable entre dominios. Para sostener esos claims harían falta métricas normalizadas y externas, análisis agrupado del estudio, múltiples seeds de SFT, artefactos completos, versiones fijadas y una publicación de datos compatible con sus términos de origen.