ES-MemEval: Benchmarking Conversational Agents on Personalized Long-Term Emotional Support

ES-MemEval proposes evaluating longitudinal conversational memory in emotional-support agents through five capabilities: information extraction, temporal reasoning, conflict detection, abstention, and user modeling. It does not study psychological personality, synthetic identity, or therapeutic efficacy; its defensible construct is retrieval and integration of personal information dispersed across conversations. The associated EvoEmo resource contains 18 virtual profiles, 401 sessions, 9,368 turns, 446 events, 2,300 observations, 125 summarization tasks, and 34 dialogue scenarios, with a mean history span of 447.72 days. Profiles are assembled from multiple ESConv seed dialogues; GPT-4o expands the timelines twice and generates later sessions that human annotators refine. The paper reports 1,209 QA questions, but the official JSON contains 1,427: 309 information-extraction, 284 temporal, 267 conflict, 261 abstention, and 306 user-modeling items. The released loader iterates all 1,427 and no filter, split, or evaluated-ID list identifies the 1,209-item paper sample, so QA tables cannot be tied to the downloadable benchmark. In the reported results, Mistral-24B moves with RAG from 15.5 to 18.8 F1, 47.4 to 50.4 BERTScore, and 1.01 to 1.27 under the GPT-4o judge. RAG does not improve everything: GPT-4o overall F1 falls from 26.6 to 23.9, BERTScore stays at 54.2, and abstention judge score falls from 1.67 to 1.30 even as its overall judge score rises from 1.25 to 1.33. RAG therefore helps conditionally by model, task, metric, and k, not uniformly. Every published summarization RAG row improves, with GPT-4o+RAG at ROUGE-L 22.2, event F1 49.4, and judge score 2.93. In dialogue generation, full history and RAG improve observation recall over no-memory, but GPT-4o Full and RAG receive 5/5/5 from GPT-4o for memory, personalization, and emotional support, creating a same-family circularity and ceiling. The three dimensions are also defined by one rubric around past-experience references and correlate almost perfectly in Table 8: pairwise rho 0.984-0.987. This is agreement with one judge/prompt, not independent evidence of emotional or clinical benefit. The artifact audit found defects that directly affect metrics. QA and summaries clean outputs with strip("Answer:"), which removes any matching edge characters rather than a prefix: `Answer: Peter` becomes `Pet`, and `Answer: Unknown` becomes `Unkno`. Because 258 of 261 abstention gold answers are `Unknown`, a correct unpunctuated answer can be scored as wrong. F1 uses sets rather than token multisets and crashes on empty strings. NDCG discounts the first result as 0.5, candidate sampling can call random.sample with a negative k, and the vector store does not retain IDs from its first load. Four summarization executables, Mistral-8B base/RAG, Phi-3 base, and Mistral-24B RAG, actually instantiate QaExperiment, so they do not generate four Table 6 rows. No outputs, generations, judge logs, or aggregatable CSVs are released, and the result organizer points to private `/home/lab509/...` paths; the tables cannot be recomputed. The JSON also needs repair: 37 QA evidence references are invalid, 3 questions duplicate evidence, 2 non-abstention questions have no evidence, and 7 question-text pairs are duplicated. Provenance contradicts a categorical ethics statement. Eighty-five sessions retain ESConv IDs, 58 reproduce complete dialogues after text normalization, and 2,252 of 9,368 utterances match the source corpus; `esc1198` appears under two profiles. ESConv is emotional-support role-play written by crowdworkers, not clinical records or natural therapy conversations, but it is human-authored conversational text. EvoEmo is therefore synthetic/augmented, not exclusively generated. Zenodo also labels the entire archive CC-BY-4.0 although it incorporates ESConv material distributed as CC-BY-NC-4.0 and described for academic research; provenance and licensing require clarification, without this audit offering a legal conclusion. Human validation is useful but narrow: only Mistral-24B Full/RAG, with 50 QA, 40 summaries, and 30 dialogues. For DG RAG, kappa 0.19 and rho 0.20 coexist with 86.7% exact agreement because of ceiling concentration, which does not validate fine ranking or GPT-4o self-judging. The faithful conclusion is that ES-MemEval offers an interesting longitudinal benchmark architecture and preliminary evidence that explicit memory and RAG can help in several conditions. Its numbers should remain provisional until the exact 1,209-question split is released, evaluation code is repaired, raw outputs are published, evidence is validated, ESConv lineage/licenses are documented, and broader independent human evaluation is performed. It does not establish synthetic personality, safe therapy, or production readiness.

ES-MemEval propone evaluar memoria conversacional longitudinal en agentes de apoyo emocional mediante cinco capacidades: extracción de información, razonamiento temporal, detección de conflictos, abstención y modelado del usuario. No estudia personalidad psicológica, identidad sintética ni eficacia terapéutica; su constructo defendible es la recuperación e integración de información personal dispersa a lo largo de conversaciones. El recurso asociado, EvoEmo, contiene 18 perfiles virtuales, 401 sesiones, 9.368 turnos, 446 eventos, 2.300 observaciones, 125 tareas de resumen y 34 escenarios de diálogo, con una historia media de 447,72 días. Los perfiles se construyen a partir de varios diálogos semilla de ESConv; GPT-4o expande dos veces las líneas temporales y genera sesiones posteriores que anotadores humanos refinan. El paper declara 1.209 preguntas QA, pero el JSON oficial contiene 1.427: 309 de extracción, 284 temporales, 267 de conflicto, 261 de abstención y 306 de modelado. El loader publicado recorre las 1.427 y no existe filtro, split ni lista de IDs que identifique las 1.209 evaluadas, por lo que las tablas QA no se pueden vincular al benchmark descargable. En los resultados declarados, Mistral-24B pasa con RAG de 15,5 a 18,8 F1, de 47,4 a 50,4 BERTScore y de 1,01 a 1,27 en el juez GPT-4o. Sin embargo, RAG no mejora todo: GPT-4o baja de 26,6 a 23,9 F1 global, mantiene 54,2 BERTScore y su puntuación de abstención cae de 1,67 a 1,30 aunque el juez global sube de 1,25 a 1,33. En resumen, RAG ayuda de forma dependiente del modelo, tarea, métrica y k; no de manera uniforme. En summarization todas las filas RAG publicadas mejoran, con GPT-4o+RAG en ROUGE-L 22,2, event F1 49,4 y juez 2,93. En generación, historia completa y RAG aumentan recuerdo de observaciones frente a no-memory, pero GPT-4o Full y RAG obtienen 5/5/5 de GPT-4o en memoria, personalización y apoyo, una circularidad de familia con techo. Las tres dimensiones están además definidas por el mismo rubric en torno a referencias al pasado y correlacionan casi perfectamente en Table 8: rho 0,984-0,987 entre pares. Esto mide concordancia con un juez y prompt concretos, no beneficio emocional o clínico independiente. La auditoría del artefacto encontró defectos que afectan directamente a los números. QA y summaries limpian la salida con strip("Answer:"), que elimina caracteres de ambos extremos, no un prefijo: `Answer: Peter` se vuelve `Pet` y `Answer: Unknown` se vuelve `Unkno`. Como 258 de 261 respuestas de abstención tienen gold `Unknown`, una salida correcta sin puntuación puede contabilizarse como error. El F1 usa conjuntos en vez de multiconjuntos y falla con strings vacíos. El NDCG descuenta la primera posición como 0,5, el muestreo puede llamar random.sample con k negativo y el vector store no registra IDs de su primera carga. Cuatro ejecutables de resumen, Mistral-8B base/RAG, Phi-3 base y Mistral-24B RAG, ejecutan en realidad QaExperiment, de modo que no generan cuatro filas de Table 6. No se liberan outputs, generaciones, logs de jueces ni CSV agregables, y el organizador apunta a rutas privadas `/home/lab509/...`; las tablas no pueden recalcularse. La calidad del JSON también exige reparación: 37 referencias de evidencia QA son inválidas, 3 preguntas repiten evidencias, 2 preguntas no-abstention no tienen evidencia y hay 7 pares de texto duplicado. La procedencia contradice una afirmación ética categórica. Ochenta y cinco sesiones conservan IDs ESConv, 58 reproducen diálogos completos tras normalización textual y 2.252 de 9.368 utterances coinciden con el corpus fuente; `esc1198` aparece en dos perfiles. ESConv es role-play de apoyo emocional escrito por crowdworkers, no expedientes clínicos ni conversaciones terapéuticas naturales, pero sí texto conversacional humano. Por eso EvoEmo es sintético/aumentado, no exclusivamente generado. Además, Zenodo marca todo el archivo CC-BY-4.0 aunque incorpora material ESConv CC-BY-NC-4.0 y descrito para investigación académica; falta aclarar procedencia y licencia, sin que esta auditoría emita una conclusión legal. La validación humana es útil pero estrecha: solo Mistral-24B Full/RAG, con 50 QA, 40 summaries y 30 diálogos. En DG RAG, kappa 0,19 y rho 0,20 conviven con 86,7 % exacto por efecto techo, lo que no valida ranking fino ni self-judging de GPT-4o. La conclusión fiel es que ES-MemEval ofrece una arquitectura de benchmark longitudinal interesante y evidencia preliminar de que memoria explícita y RAG pueden ayudar en varias condiciones. Sus cifras deben considerarse provisionales hasta publicar el split exacto de 1.209 preguntas, corregir el evaluador, liberar outputs, validar evidencias, documentar ESConv/licencias y ampliar evaluación humana independiente. No demuestra personalidad sintética, terapia segura ni preparación para producción.