Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques

Palabras clave: Persona Policies, User simulation, Evolutionary program search, Behavioral fingerprints, Human-likeness discriminator, Behavioral coverage, MAP-Elites, τ²-bench, Human evaluation, Agent robustness, LoRA fine-tuning, Sim-to-real gap

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6
Autores
15
Hallazgos
21
Limitaciones
4
Evidencias

Resumen editorial

Español

El trabajo parte de un problema real de los benchmarks de agentes: los usuarios simulados por LLM suelen ser demasiado cooperativos, homogéneos y dispuestos a proporcionar toda la información, por lo que pueden convertir una interacción difícil en una prueba artificialmente fácil. Propone Persona Policies (PPol), una capa que no cambia los hechos, herramientas ni recompensa de la tarea, sino que añade al prompt del simulador una política de actuación sobre cómo comunicarse. En lugar de escribir perfiles a mano, PPol evoluciona un programa Python que recibe el contexto de una tarea, una lista de ejes conductuales y un número N, y genera una población de instrucciones de role-play. Una primera llamada crea arquetipos y asigna ejes; llamadas posteriores los expanden en instrucciones de 150-250 palabras con reglas operativas como revelar datos gradualmente, escribir mensajes fragmentados, mostrarse escéptico, negarse a repetir identificadores o reaccionar a errores del agente.

La búsqueda se implementa con OpenEvolve y MAP-Elites. Gemini 3 Flash propone personas, reflexión y cambios de código; los simuladores evaluados son DeepSeek-V3.1, GPT-5.4-Mini y Qwen3-Next-80B-A3B-Instruct; Gemma 4 31B actúa como asistente y participa en la interfaz y comprobaciones del entorno. Cada conversación se reduce a 19 rasgos regex o estadísticos agrupados en estilo comunicativo, revelación de información, aclaración y reacción ante errores. Un Random Forest entrenado con conversaciones humanas y el simulador base produce P(humano). El segundo objetivo es una cobertura Chamfer bidireccional entre la nube de personas generadas y conversaciones humanas. En validación y test, la fitness pondera ambos componentes al 50%. Durante entrenamiento, un currículo aumenta N de 5 a 8 y 10 y eleva progresivamente el peso de cobertura.

Los experimentos usan retail y airline de tau2-bench, con 74/40 tareas train/test en retail y 30/20 en airline. La referencia humana es el corpus TAU-USI: 495 conversaciones de 451 participantes sobre 165 tareas, con tres conversaciones independientes por tarea. La búsqueda usa cinco tareas por evaluación, reserva un 20% del train para validación y permite hasta 70 iteraciones. En test, cada condición con personas genera diez por tarea, hasta 400 rollouts en retail y 200 en airline. Frente al simulador base, direct prompting y el generador inicial sin evolucionar, PPol evolucionado obtiene la mayor fitness en todos los bloques publicados. En retail-Qwen, el score pasa de 0,077 a 0,693 y el USI diagnóstico de 35,1% a 76,5%; en airline-GPT-5.4-Mini, de 0,243 a 0,574 y de 54,3% a 72,5%; en el bloque conjunto con DeepSeek, de 0,135 a 0,614 y de 57,1% a 74,5%. Las mejoras headline de 33-62 puntos son, por tanto, aumentos de la métrica compuesta definida por los autores, no de éxito de tarea ni de una medida independiente de realismo.

La validación humana aporta evidencia externa útil, pero más estrecha que el titular. Veinte personas fueron reclutadas en Prolific a 20 dólares por hora bajo una exención del IRB; cuatro se excluyeron por no completar el estudio o fallar una conversación de control deliberadamente obvia. Quedaron 16 evaluadores, 87 conversaciones únicas y 159 votos. La figura permite reconstruir 52/65 trazas humanas, 41/51 PPol y 20/43 del simulador base etiquetadas como humanas: 80,0%, 80,4% y 46,5%. El Welch publicado para PPol frente al base se reproduce exactamente con esos conteos, t=3,556 y p=0,000637. También se informa de correlación point-biserial r=0,49 entre P(humano) y el juicio binario. Sin embargo, el test trata cada voto como independiente aunque hay múltiples votos por evaluador y conversaciones repetidas; no usa un modelo mixto ni errores agrupados. Tampoco se hace una prueba de equivalencia entre PPol y humanos: porcentajes cercanos no demuestran equivalencia, y sus intervalos binomiales son amplios. Los datos de asignación, scores por transcripción y análisis del estudio no están publicados.

El caso de entrenamiento ajusta Gemma 4 31B con LoRA sobre trayectorias exitosas. En retail, añadir PPol eleva el promedio OOD de 0,213 a 0,250: +0,037 absoluto y +17% relativo. La mayor mejora es Confusion, 0,275 a 0,400; Incoherent e Impatient no cambian. En airline el promedio pasa solo de 0,400 a 0,413 y en el modelo conjunto de 0,317 a 0,341. El +17% del abstract es específico de retail. Con 40 y 20 tareas, sin semillas repetidas, intervalos ni tests, no se conoce la estabilidad de diferencias pequeñas. Además, el texto se contradice: un apéndice dice 32 pasos de optimización y otro 48; los YAML publicados usan 48. El apéndice afirma seleccionar el checkpoint con menor pérdida de validación, pero el código evalúa cada ocho pasos, guarda solo en el 48 y no configura selección automática. La afirmación de igual volumen tampoco está garantizada: el colector base produce un rollout por tarea, PPol hasta diez, y el constructor mezcla todas las trayectorias exitosas sin balancearlas.

La principal objeción métrica es verificable en el código. La distancia Chamfer se calcula sobre los 19 rasgos crudos, sin estandarización, aunque mezcla conteos y tasas. En el corpus humano publicado, opening_length y words_per_turn concentran el 99,847% de la varianza geométrica en retail y el 99,827% en airline; opening_length por sí solo supone 86,301% y 72,864%. La supuesta cobertura amplia de 19 comportamientos está, de hecho, dominada por dos medidas de longitud. El Random Forest y Chamfer comparten el mismo vocabulario de 19 rasgos y la evolución recibe feedback de esas métricas, de modo que el sistema puede optimizar el proxy sin capturar dimensiones semánticas o psicológicas no medidas. El estudio humano mitiga parcialmente esta objeción solo para DeepSeek en retail.

El repositorio es valioso como implementación: publica el generador, extractor, clasificador, fitness, integración con OpenEvolve, benchmark, inyección y pipeline SFT; todo el Python compila y sus cinco tests pasan. No es un paquete de reproducción de resultados. Están ignorados y ausentes los fingerprints base, clasificadores, checkpoints evolucionados, respuestas crudas, logs, curvas, resultados de benchmark, datos del estudio, conjuntos SFT, adaptadores y scripts de tablas. Las dependencias usan mínimos abiertos, tau2 y tau-trait aparecen como URLs placeholder, LLaMA-Factory no está fijado y los modelos son aliases mutables. Tampoco hay licencia raíz. El repo incluye directamente un JSON de 14 MB con las 495 conversaciones humanas que coincide en estructura y conteos con TAU-USI, pero no adjunta sus condiciones: el origen oficial es gated, CC BY-NC 4.0, solo investigación, prohíbe entrenamiento de LLM, exige atribución y requiere conservar los términos al redistribuir. Esto es un problema material de procedencia y cumplimiento, no una declaración jurídica.

La lectura equilibrada es que PPol ofrece una idea interesante y código inspeccionable para convertir perfiles estáticos en políticas conversacionales operativas. Los resultados muestran mejoras grandes en el proxy diseñado, una señal humana convincente pero estadísticamente submodelada en una condición, y una mejora de robustez prometedora pero pequeña y desigual fuera de retail. No demuestra realismo humano general, equivalencia con personas reales ni robustez estable entre dominios. Para sostener esos claims harían falta métricas normalizadas y externas, análisis agrupado del estudio, múltiples seeds de SFT, artefactos completos, versiones fijadas y una publicación de datos compatible con sus términos de origen.

English

The paper addresses a genuine weakness in agent benchmarks: LLM user simulators tend to be overly cooperative, homogeneous, and willing to disclose all relevant information, which can turn a difficult interaction into an artificially easy test. It introduces Persona Policies (PPol), a layer that leaves task facts, tools, and rewards unchanged while adding a role-play policy governing how the simulator communicates. Instead of manually writing profiles, PPol evolves a Python program that receives a task context, behavioral axes, and a population size N. A first LLM call creates archetypes and assigns axes; later calls expand them into 150-250-word instructions with operational rules such as incremental disclosure, fragmented messages, skepticism, refusal to repeat identifiers, or reactions to assistant errors.

Search uses OpenEvolve and MAP-Elites. Gemini 3 Flash generates personas, reflection, and code edits; the evaluated user backends are DeepSeek-V3.1, GPT-5.4-Mini, and Qwen3-Next-80B-A3B-Instruct; Gemma 4 31B is the assistant and supports the environment interface and checks. Every dialogue is reduced to 19 regex/statistical features grouped into communication style, information disclosure, clarification, and error reaction. A Random Forest trained on human conversations and default-simulator trajectories outputs P(human). A second objective computes two-sided Chamfer coverage between generated-persona and human point clouds. Validation and test weight the two components equally. During search, a curriculum increases N from 5 to 8 to 10 and gradually raises the coverage weight.

Experiments use retail and airline in tau2-bench, with 74/40 train/test tasks in retail and 30/20 in airline. The human reference is TAU-USI: 495 conversations from 451 participants over 165 tasks, with three independent conversations per task. Search evaluates five tasks per call, holds out 20% of train tasks for validation, and allows up to 70 iterations. At test time, every persona condition creates ten personas per task, up to 400 retail and 200 airline rollouts. Against the default simulator, direct prompting, and the unevolved generator, evolved PPol has the highest paper-defined fitness in every reported block. In retail-Qwen, score rises from 0.077 to 0.693 and diagnostic USI from 35.1% to 76.5%; in airline-GPT-5.4-Mini, from 0.243 to 0.574 and 54.3% to 72.5%; in the combined DeepSeek block, from 0.135 to 0.614 and 57.1% to 74.5%. The headline 33-62 percentage-point improvements are gains on the authors' composite proxy, not task success or an independent realism scale.

The human validation supplies useful external evidence, but its scope is narrower than the headline. Twenty Prolific participants were recruited at $20/hour under an IRB exemption; four were excluded for non-completion or failure on a deliberately obvious bot control. The final sample has 16 annotators, 87 unique conversations, and 159 ratings. The figure reconstructs as 52/65 human traces, 41/51 PPol traces, and 20/43 default-simulator traces labelled human: 80.0%, 80.4%, and 46.5%. The reported Welch comparison of PPol and baseline reproduces exactly from these counts, t=3.556 and p=0.000637. The paper also reports point-biserial r=0.49 between P(human) and binary judgments. However, the test treats ratings as independent even though each annotator contributes multiple judgments and some conversations receive repeated ratings; it uses neither mixed effects nor clustered errors. Nor is there an equivalence test between PPol and humans: similar percentages do not prove equivalence, and exact binomial intervals are broad. Assignment data, transcript scores, and analysis code are not released.

The agent-training case study fine-tunes Gemma 4 31B with LoRA on successful trajectories. In retail, adding PPol raises mean OOD success from 0.213 to 0.250, a 0.037 absolute and 17% relative gain. The largest change is Confusion, 0.275 to 0.400; Incoherent and Impatient do not improve. Airline changes only from 0.400 to 0.413, and the combined-domain model from 0.317 to 0.341. The abstract's +17% is retail-specific. With 40 and 20 test tasks, no repeated training seeds, intervals, or tests, the stability of small differences is unknown. The manuscript is also inconsistent: one appendix says 32 optimizer steps and another 48; released YAMLs use 48. The appendix claims lowest-validation-loss checkpoint selection, but code evaluates every eight steps, saves only at step 48, and does not configure automatic best-model loading. Equal training volume is not enforced either: the baseline collector produces one rollout per task, PPol can produce ten, and the builder merges every successful row without balancing.

The central metric concern is directly verifiable in code. Chamfer distance operates on all 19 raw features without standardization even though counts and rates are mixed. In the released human corpus, opening_length and words_per_turn account for 99.847% of total geometric variance in retail and 99.827% in airline; opening_length alone contributes 86.301% and 72.864%. The advertised broad 19-behavior coverage objective is therefore dominated by two length measures. Random Forest and Chamfer use the same 19-feature vocabulary, and evolution receives feedback from these metrics, so the system can optimize the proxy while missing unmeasured semantic or psychological dimensions. Human evaluation partly mitigates this concern only for DeepSeek on retail.

The repository is valuable as an implementation: it exposes the generator, feature extractor, discriminator, fitness, OpenEvolve integration, benchmark, injection layer, and SFT pipeline; all Python compiles and all five tests pass. It is not a result-reproduction package. Baseline fingerprints, classifiers, evolved checkpoints, raw responses, logs, curves, benchmark outputs, human-study rows, SFT datasets, adapters, and table-generation scripts are absent or gitignored. Dependencies use open lower bounds, tau2 and tau-trait remain placeholder URLs, LLaMA-Factory has no pinned commit, and hosted model aliases are mutable. There is no root license. The repository also directly commits a 14 MB JSON containing 495 human conversations matching TAU-USI's structure and counts without carrying its visible terms. The official source is gated, CC BY-NC 4.0, research-only, prohibits LLM training, requires attribution, and requires its terms to accompany redistribution. That is a material provenance/compliance gap, not a legal conclusion.

A balanced reading is that PPol contributes an interesting, inspectable way to turn static profiles into operational conversational policies. The evidence shows large improvements on its designed proxy, a compelling but statistically under-modelled human signal in one condition, and promising but small and uneven robustness gains outside retail. It does not establish general human realism, equivalence to real users, or stable cross-domain robustness. Stronger claims require normalized and external metrics, clustered human-study analysis, multiple SFT seeds, complete artifacts, pinned versions, and data distribution that preserves the source terms.

Pregunta de investigación

¿Puede una búsqueda evolutiva de programas generar políticas de role-play condicionadas por tarea que hagan a los simuladores de usuario más parecidos y diversos respecto a conversaciones humanas, y mejora ese entrenamiento la robustez del agente ante usuarios difíciles?

Método

PPol evoluciona con OpenEvolve/MAP-Elites un generador Python G(c,D,N) de dos etapas: arquetipos con ejes conductuales y expansión a instrucciones de 150-250 palabras. Evalúa rollouts tau2 con 19 rasgos regex/estadísticos. La fitness combina al 50% P(humano) de un Random Forest y cobertura Chamfer frente a TAU-USI; un currículo usa N=5,8,10. Se prueban retail/airline y tres LLM de usuario, se hace un estudio humano retail-DeepSeek y un caso SFT LoRA de Gemma 4 31B.

Muestra: 495 conversaciones humanas TAU-USI sobre 165 tareas: 345 retail/115 tareas y 150 airline/50 tareas, tres participantes independientes por tarea. Búsqueda sobre 74 train retail y 30 train airline; test de 40 y 20 tareas. Estudio humano: 20 reclutados, 16 tras filtros, 87 conversaciones únicas y 159 votos. SFT evaluado una vez por régimen sobre 40/20 tareas, sin seeds repetidas publicadas.

Hallazgos

  • PPol evolucionado alcanza la mayor fitness definida por el paper en todos los bloques dominio-modelo publicados.
  • Las ganancias headline de 33-62 puntos corresponden a P(humano)+Chamfer, no a éxito de tarea ni a una métrica externa de realismo.
  • En retail-Qwen, score 0,077 a 0,693 y USI 35,1% a 76,5%.
  • En airline-GPT-5.4-Mini, score 0,243 a 0,574 y USI 54,3% a 72,5%.
  • En conjunto-DeepSeek, score 0,135 a 0,614 y USI 57,1% a 74,5%.
  • El estudio humano reconstruye 80,0% humano, 80,4% PPol y 46,5% base etiquetado humano.
  • El Welch PPol-base publicado se reproduce exactamente con 41/51 frente a 20/43: t=3,556, p=0,000637.
  • La prueba humana solo cubre retail con DeepSeek y no modela el agrupamiento por evaluador y conversación.
  • En retail, SFT PPol mejora promedio OOD 0,213 a 0,250, +17% relativo; Confusion concentra la mayor mejora.
  • En airline la mejora media es 0,400 a 0,413 y en combined 0,317 a 0,341.
  • Chamfer sin estandarizar queda dominado en más de 99,8% por opening_length y words_per_turn en el corpus humano.
  • El repo compila y sus cinco tests pasan, pero no publica artefactos que regeneren resultados, tablas o figuras.
  • El código actual usa 48 pasos SFT; el paper también declara 32 y el best-checkpoint afirmado no está implementado en los YAML.
  • El pipeline publicado no fuerza igual número de ejemplos entre SFT base y mixto.
  • El JSON humano público coincide en conteo y estructura con TAU-USI, pero el repo no conserva visiblemente sus términos gated de redistribución.

Limitaciones

  • Preprint arXiv v1 bajo revisión, sin aceptación peer-reviewed confirmada.
  • Solo retail y airline de customer service.
  • Una familia de asistente y tres backends de usuario.
  • Los dos objetivos optimizados dependen de los mismos 19 rasgos manuales.
  • Chamfer usa features crudas en escalas incompatibles.
  • La cobertura geométrica está casi totalmente dominada por longitud.
  • Optimización directa del proxy con riesgo de metric gaming fuera del espacio medido.
  • Validación humana solo retail-DeepSeek.
  • 159 votos no independientes analizados con Welch simple.
  • Sin modelo mixto, errores cluster ni análisis por conversación/evaluador.
  • Sin prueba de equivalencia PPol-humano.
  • Sin datos crudos ni análisis reproducible del estudio humano.
  • SFT sin múltiples seeds, intervalos ni pruebas estadísticas.
  • Diferencias de éxito cuantizadas por solo 40/20 tareas.
  • Contradicción 32 frente a 48 pasos de optimización.
  • La configuración no implementa selección por menor pérdida de validación.
  • Igual volumen SFT afirmado pero no impuesto por el código publicado.
  • Sin outputs, modelos, checkpoints, logs, raw responses, SFT data ni scripts de figuras.
  • Dependencias y modelos no fijados a snapshots inmutables.
  • URLs esenciales tau2/tau-trait quedan como placeholders.
  • Sin LICENSE raíz y con términos del corpus humano ausentes junto a la copia pública.

Qué no demuestra

  • Realismo humano general o psicológico de las personas generadas.
  • Equivalencia de PPol con conversaciones humanas reales.
  • Cobertura equilibrada de 19 dimensiones conductuales.
  • Validez del proxy fuera de los patrones regex medidos.
  • Robustez estable entre seeds de entrenamiento.
  • Una mejora OOD del 17% en airline, en combined o en promedio entre dominios.
  • Mejoras estadísticamente fiables en las celdas pequeñas de task success.
  • Efecto causal aislado de diversidad con igual volumen de datos.
  • Generalización a otros asistentes, tareas abiertas, dominios de alto riesgo o usuarios desplegados.
  • Que objetivos, herramientas y recompensas sin cambios impliquen igual dificultad funcional.
  • Que las personas nunca contradigan, oculten o hagan irrealizable una tarea.
  • Reproducción exacta desde el checkout público actual.
  • Permiso irrestricto para reutilizar el JSON de conversaciones humanas.
  • Seguridad, no toxicidad o equidad: el paper las propone como salvaguardas futuras, no como objetivos actuales.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.12894v1

Fuente consultada: https://arxiv.org/abs/2605.12894

Revisión: Codex 26-page visual full-text, complete TeX, metric-scale, human-study reconstruction, SFT protocol, code/test, data-governance and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Gemini 3 Flash
  • DeepSeek-V3.1
  • GPT-5.4-Mini
  • Qwen3-Next-80B-A3B-Instruct
  • Gemma 4 31B instruction-tuned
  • RandomForestClassifier

Instrumentos y métricas

  • Persona Policies two-stage generator
  • OpenEvolve
  • MAP-Elites
  • 19-dimensional behavioral fingerprint
  • Random Forest human-likeness discriminator
  • Two-sided Chamfer coverage
  • Sørensen-Dice dimension diagnostics
  • tau2-bench rollout environment
  • Prolific blinded human evaluation
  • Welch t-test
  • Point-biserial correlation
  • LoRA SFT with LLaMA-Factory
  • tau-trait OOD challenge suites

Datos utilizados

  • TAU-USI human conversations
  • tau2-bench retail tasks
  • tau2-bench airline tasks
  • Default-simulator trajectories
  • PPol-conditioned trajectories
  • tau-trait Skeptical, Incoherent, Impatient and Confusion suites

Evidencia y localización

  • Texto completo, ecuaciones, tablas, figuras, apéndices, estudio humano, SFT y límites: arXiv:2605.12894v1; PDF sha256 10fe16ee98fbc808df3179bdecb477d48456fefc58bb51ddcb1506716a90621d; TeX sha256 6d32f261197786b77269f2c82a7ca473f35db63ef6b592171500e8b45439a6f4
  • Código de métricas, splits, evolución, corpus local, tests y SFT: https://github.com/harshita-chopra/persona-policies commit 578d832afc7a6b6894963fc779d7fbb74bc96dcf
  • Procedencia, privacidad, consentimiento, licencia y restricciones de TAU-USI: https://huggingface.co/datasets/cmu-lti/tau-usi
  • Reconstrucción estadística y auditoría independiente completa: reports/verification/article-336-persona-policies-metric-human-study-agent-training-data-license-and-reproducibility-audit.json