Enjoy Your Talk: A Human-Centered Benchmark for Multi-Turn Dialogue with Decoupled User Simulation, Target Modeling, and Judging

Diecisiete modelos realizan 200 diálogos cada uno, 100 con Nemotron Personas USA y 100 con PersonaMem-v2. El objetivo separa predicción de etiquetas y generación; Gemini 3.1 Pro Thinking juzga métricas subjetivas y FICR, se calcula drift con embeddings y una submuestra se repite con DeepSeek-V4-Pro.

3.400 diálogos objetivo, más de 30.000 turnos. La comprobación entre jueces usa 46 diálogos y 11 celdas; el piloto humano cubre 59 celdas-turno con cinco anotadores. La precisión de intención latente en PersonaMem varió de .09 a .80. Activar razonamiento en Gemma-4 elevó esa precisión en .466 y .497 según condición. FICR quedó saturada en Nemotron y varió de .53 a .88 en PersonaMem. El warm-up apareció en 16 de 17 modelos, con GPT-5.5 en sentido inverso.

Un simulador y el juez principal comparten familia Gemini 3.1. La afirmación sobre razonamiento depende de una sola familia emparejada. La validación humana completa está pendiente. La comparación entre jueces es pequeña. Solo se evalúan inglés y perfiles principalmente estadounidenses. Human-centered no significa human-validated. No demuestra fidelidad a personas reales concretas. No establece que diferencias subjetivas pequeñas sean significativas.

Seventeen models complete 200 dialogues each, 100 with Nemotron Personas USA and 100 with PersonaMem-v2. The target separates label prediction and generation; Gemini 3.1 Pro Thinking judges subjective metrics and FICR, embedding drift is computed, and a subset is repeated with DeepSeek-V4-Pro.

3,400 target dialogues and more than 30,000 turns. Cross-judge checking uses 46 dialogues and 11 cells; the human pilot covers 59 turn-cells with five annotators. Latent-intent accuracy on PersonaMem ranged from .09 to .80. Enabling reasoning in Gemma-4 increased that accuracy by .466 and .497 by condition. FICR saturated on Nemotron and ranged from .53 to .88 on PersonaMem. The warm-up effect appeared in 16 of 17 models, with GPT-5.5 reversing it.

A simulator and the main judge share the Gemini 3.1 family. The reasoning claim depends on one paired family. Full human validation is still pending. The cross-judge comparison is small. Only English and mainly United States profiles are evaluated. Human-centered does not mean human-validated. It does not demonstrate fidelity to specific real people. It does not establish that small subjective differences are significant.