SPASM: Stable Persona-driven Agent Simulation for Multi-turn Dialogue Generation

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Han Luo, Guy Laban

Palabras clave: Persona conditioning, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
9
Hallazgos
30
Limitaciones
7
Evidencias

Resumen editorial

Español

Luo y Laban presentan SPASM, un pipeline para producir diálogos sintéticos entre un Client que representa una persona y un Responder. El sistema muestrea un perfil estructurado, lo valida y redacta con LLM, genera la conversación y usa otro detector para decidir cuándo termina. Su aportación técnica principal, Egocentric Context Projection (ECP), conserva un historial con hablantes absolutos y lo reescribe para cada agente como SELF y PARTNER. La idea evita que un mismo turno aparezca con etiquetas de rol contradictorias para los dos participantes.

El corpus declarado cruza GPT-4o-mini, DeepSeek-V3.2 y Qwen-Plus en nueve pares. Cada par usa 500 personas muestreadas independientemente y diez conversaciones por persona: 4.500 perfiles y 45.000 conversaciones en total. Los autores encuentran clusters de persona más compactos cuando los backbones coinciden y una geometría especialmente favorable cuando GPT-4o-mini actúa como Responder. La recuperación del identificador de persona desde embeddings de los turnos del Client alcanza Acc@1 entre .50 y .99 y Acc@10 entre .82 y 1.00.

La evidencia más directa sobre ECP procede de un experimento separado: 50 personas, tres conversaciones por persona, decodificación determinista y máximo de 20 turnos. Tres preguntas sobre preocupaciones, emoción y motivación se responden antes y durante el diálogo; la distancia de embeddings respecto a la respuesta inicial se llama drift. ECP reduce esa distancia en ocho de nueve comparaciones modelo-dimensión, con delta de -.006 a -.042 y Cohen d de -.05 a -.75. En echoing, un juez Qwen-max filtra conversaciones y dos anotadores humanos buscan adopción del rol del compañero. CONCAT presenta tasas humanas del 9% al 82%; en las muestras ECP no se observa ningún positivo humano, aunque el juez marca 3%-24%.

Ese resultado es prometedor, pero «elimina echoing» excede una observación finita. El paper no da denominadores por celda, intervalos ni una descripción inequívoca del reparto entre anotadores. Evalúa todo ECP pero solo 50 conversaciones CONCAT por par, y el checklist confirma que no informa reclutamiento, compensación, consentimiento ni revisión ética. Tampoco mide factualidad, seguridad, utilidad, realismo o preferencia: separar mejor los roles no basta para llamar de alta calidad a diálogos sobre salud mental, derecho o finanzas.

Hay además problemas cuantitativos verificables. Con 500 personas y diez conversaciones, el azar exacto para Acc@1/3/5/10 es .0018/.0054/.0090/.0179. La tabla publica .02/.05/.09/.17, valores que corresponden a 50 personas; el texto no declara ese subconjunto. Métodos dicen retener 50 componentes PCA, pero resultados atribuyen el 68%-77% a los dos primeros. La nota de la Tabla 1 define distancias por pares, mientras el apéndice las calcula contra centroides. Ese cálculo incluye el propio punto en su centroide y después aplica ANOVA a distancias within y between emparejadas como si fueran independientes.

La comparación entre backbones tampoco está identificada: cada una de las nueve condiciones tiene personas diferentes, por lo que modelo, ocupaciones, dominios, emociones, redacción del Crafter y generaciones cambian a la vez. La supuesta dominancia del Responder es un patrón descriptivo de nueve corpus sin réplica, no un efecto causal. Y el drift se basa en tres autorreportes generados; una distancia semántica puede reflejar paráfrasis o adaptación al contexto, no pérdida de identidad. El apéndice demuestra propiedades geométricas del coseno, no validez psicológica del constructo.

El repositorio actual tampoco reproduce el paper. Fue creado el 12 de julio de 2026 con dos commits y no contiene código, GUI, entorno, corpus original, anotaciones ni resultados. Publica un dataset posterior y distinto: 5.000 conversaciones DeepSeek-V4-Flash/DeepSeek-V4-Flash. Ese JSONL sí es internamente consistente, 500 personas por diez conversaciones, 44.950 turnos, sin duplicados exactos y checksum correcto, pero no pertenece a ninguna de las nueve configuraciones estudiadas. SPASM aporta una técnica sencilla y plausible para normalizar perspectiva; la evidencia disponible apoya una reducción observada de drift y cero casos humanos en las muestras, no un sistema universalmente estable, libre de echoing o reproducible desde sus artefactos públicos.

English

Luo and Laban present SPASM, a pipeline for producing synthetic dialogue between a persona-enacting Client and a Responder. The system samples a structured profile, validates and verbalizes it with LLMs, generates the conversation, and uses another detector to decide when it ends. Its main technical contribution, Egocentric Context Projection (ECP), keeps a history with absolute speakers and rewrites it for each agent as SELF and PARTNER. This prevents the same turn from receiving contradictory relative role labels for the two participants.

The reported corpus crosses GPT-4o-mini, DeepSeek-V3.2, and Qwen-Plus in nine pairings. Each pairing uses 500 independently sampled personas and ten conversations per persona: 4,500 profiles and 45,000 conversations. The authors find more compact persona clusters for same-backbone interactions and especially favorable geometry when GPT-4o-mini is the Responder. Recovering persona identity from embeddings of Client turns reaches Acc@1 from .50 to .99 and Acc@10 from .82 to 1.00.

The most direct ECP evidence comes from a separate experiment: 50 personas, three conversations per persona, deterministic decoding, and a 20-utterance cap. Three questions about concerns, emotion, and motivation are answered before and during dialogue; embedding distance from the initial response is called drift. ECP lowers this distance in eight of nine model-dimension comparisons, with deltas from -.006 to -.042 and Cohen d from -.05 to -.75. For echoing, a Qwen-max judge screens conversations and two humans look for adoption of the partner's role. CONCAT human rates range from 9% to 82%; no human-positive ECP case is observed, although the judge flags 3%-24%.

This is promising, but claiming that ECP eliminates echoing exceeds a finite observation. The paper omits per-cell denominators, intervals, and an unambiguous account of work allocation between annotators. It evaluates all ECP conversations but only 50 CONCAT conversations per pairing, and the checklist confirms missing recruitment, compensation, consent, and ethics-review information. It also does not measure factuality, safety, usefulness, realism, or preference: better role separation is insufficient to call dialogues about mental health, law, or finance high quality.

There are reproducible quantitative problems. With 500 personas and ten conversations, exact chance Acc@1/3/5/10 is .0018/.0054/.0090/.0179. The table reports .02/.05/.09/.17, values corresponding to 50 personas; no such subset is disclosed. Methods retain 50 PCA components, but results attribute 68%-77% variance to the first two. Table 1 defines pairwise distances, while the appendix computes distances to centroids. That calculation includes the query in its own centroid and then applies ANOVA to paired within and between distances as if they were independent.

Backbone comparisons are also unidentified: each of the nine conditions has different personas, so model, occupations, domains, emotions, Crafter wording, and generations change together. Claimed Responder dominance is a descriptive pattern across nine unreplicated corpora, not a causal effect. Drift relies on three generated self-reports; semantic distance can reflect paraphrase or contextual adaptation rather than identity loss. The appendix proves geometric properties of cosine distance, not psychological construct validity.

The current repository does not reproduce the paper. Created on July 12, 2026 in two commits, it contains no code, GUI, environment, original corpus, annotations, or results. It publishes a later, different DeepSeek-V4-Flash/DeepSeek-V4-Flash dataset of 5,000 conversations. That JSONL is internally consistent, 500 personas with ten conversations each, 44,950 utterances, no exact duplicates, and a correct checksum, but belongs to none of the nine studied configurations. SPASM contributes a simple and plausible perspective-normalization technique; available evidence supports observed drift reductions and zero human-positive cases in the inspected samples, not a universally stable, echoing-free, publicly reproducible system.

Pregunta de investigación

¿Puede una proyección egocéntrica que reetiqueta el historial como SELF/PARTNER reducir drift de persona y adopción del rol del interlocutor en diálogos LLM-LLM, y cómo varían las representaciones del corpus entre pares de backbones?

Método

Pipeline sintético con nueve pares Client-Responder formados por tres APIs. Se generan 500 personas y diez conversaciones por par. Los turnos del Client se embeben y analizan con PCA, clustering, ANOVA y recuperación nearest-neighbor. Un ablation ECP-CONCAT usa 50 personas, tres conversaciones, temperatura cero y probes semánticos periódicos. Qwen-max filtra echoing y dos humanos anotan ECP completo, muestras CONCAT de 50 por par y un subconjunto doble de 200.

Muestra: El estudio principal declara 500 personas independientes por cada uno de nueve pares y diez conversaciones por persona: 45.000 conversaciones, cap de 25 turnos por agente. El ablation usa 50 personas y tres conversaciones por condición, máximo 20 utterances. Para echoing, todo ECP recibe anotación humana y CONCAT solo 50 conversaciones por par; 200 conversaciones se doble-anotan, pero el reparto exacto y los denominadores ECP no se publican.

Hallazgos

  • ECP reduce el drift de embedding en ocho de nueve filas modelo-dimensión; delta -.006 a -.042 y Cohen d -.05 a -.75.
  • DeepSeek motivation es la única comparación no significativa, p=.460; el paper no identifica el test ni corrige nueve comparaciones.
  • CONCAT tiene 9%-82% de echoing humano según el par; ECP registra 0% humano observado, aunque el juez marca 3%-24%.
  • El acuerdo humano sobre 200 conversaciones es .920 con kappa .729.
  • El juez frente a referencias humanas promediadas reporta agreement .860, precision .974, recall .861 y F1 .914.
  • Acc@1 de persona va de .50 a .99 y Acc@10 de .82 a 1.00 entre pares.
  • La geometría publicada es más compacta en varios pares same-backbone y cuando GPT-4o-mini responde, pero la composición de personas cambia entre condiciones.
  • El baseline aleatorio de retrieval coincide con 50 personas y no con las 500 declaradas.
  • El dataset público posterior contiene exactamente 5.000 registros, 500 personas, 44.950 utterances, diez conversaciones por persona y ningún duplicado exacto.

Limitaciones

  • Cada par de backbones usa 500 personas muestreadas independientemente; las diferencias de modelo están confundidas con composición y wording de persona.
  • Solo hay un corpus por celda, sin réplicas de seed ni modelo factorial que identifique efectos de Client y Responder.
  • La geometría usa embeddings externos de texto del Client, no estados latentes de los backbones conversacionales.
  • Diez conversaciones comparten la misma descripción y escenario de persona; retrieval puede explotar contenido repetido del prompt.
  • El baseline aleatorio .02/.05/.09/.17 corresponde exactamente a 50 personas, no 500; el subconjunto o error no se declara.
  • La curva a K=50 también coincide con el azar de 50 personas, reforzando la discrepancia de alcance.
  • Métodos retienen 50 componentes PCA, pero resultados llaman 68%-77% a la varianza de los dos primeros.
  • Tabla 1 define distancias pairwise y Appendix D distancias a centroides; son métricas distintas.
  • El centroide propio incluye el query y reduce mecánicamente la distancia within; no hay leave-one-out.
  • ANOVA ignora que within y between son pares del mismo texto y dependen de centroides estimados.
  • Los p<10^-20 no aportan tamaño de efecto causal ni validan que persona explique una fracción sustantiva.
  • Los tres probes son autorreportes generados, no acceso interno ni instrumento validado de estabilidad de personalidad.
  • Cosine distance puede medir paráfrasis o adaptación contextual; no hay criterio humano, fiabilidad o calibración del drift.
  • La justificación teórica demuestra geometría del coseno, no validez psicológica o conductual.
  • No se publica serialización exacta de ECP ni CONCAT y falta comparación con baselines fuertes de chat templates o historiales por agente.
  • Los tests de drift no especifican prueba, unidad, pairing, intervalos, corrección múltiple ni efecto estandarizado exacto.
  • Las observaciones se repiten por persona, conversación, turno y dimensión, con riesgo de pseudorreplicación.
  • Las bandas de Figure 2 no se definen como SD, SE, CI o bootstrap.
  • Echoing usa protocolos asimétricos: cobertura total para ECP y solo 50 ejemplos por par para CONCAT.
  • Cero positivos observados no prueba eliminación y no se dan denominadores por celda ni intervalos binomiales.
  • No queda claro si ambos anotadores cubrieron todo ECP o se repartieron la cobertura ni cómo se resolvieron desacuerdos.
  • Las referencias binarias se promedian, pero no se explica cómo un desacuerdo .5 se convierte en ground truth para precision y recall.
  • Los humanos están ciegos al juez, no necesariamente a condición, backbone o hipótesis.
  • No se informa reclutamiento, compensación, consentimiento ni revisión ética de los anotadores.
  • No se evalúan factualidad, seguridad, helpfulness, realismo, diversidad, preferencia ni task success.
  • El detector de terminación puede cambiar exposición a turnos tardíos; no se reportan longitudes y censoring por condición.
  • Personas sintéticas y detalles añadidos por el Crafter no representan poblaciones reales ni mantienen un control factorial limpio.
  • Faltan versiones fechadas de APIs, seeds, retries, entorno, llamadas, costes y manifest inmutable.
  • El repositorio no contiene código ni ninguno de los nueve corpus, embeddings, anotaciones o outputs del paper.
  • El único dataset público es posterior, usa DeepSeek-V4-Flash y no reproduce los experimentos.

Qué no demuestra

  • No demuestra que ECP elimine echoing fuera de las muestras, modelos, prompts y runs observados.
  • No identifica causalmente al Responder como determinante de la geometría porque las personas cambian entre pares.
  • No demuestra alineación de espacios latentes; solo compara embeddings externos de outputs textuales.
  • No valida el score de drift como medida psicológica, identidad interna o personalidad humana.
  • No prueba que recuperación de una persona implique estabilidad conductual en contextos nuevos.
  • No resuelve si retrieval usa 50 o 500 personas ni valida su baseline aleatorio publicado.
  • No justifica la inferencia ANOVA con observaciones pareadas y centroides dependientes.
  • No demuestra calidad global de los diálogos ni seguridad para salud mental, derecho o finanzas.
  • No prueba representatividad de perfiles o similitud con conversaciones humanas.
  • No permite reproducir la generación, el ablation, la anotación o los resultados con los artefactos públicos.
  • No convierte el dataset DeepSeek-V4-Flash posterior en evidencia de las nueve configuraciones del paper.

Trazabilidad

Alcance: Texto completo

Versión: Findings of ACL 2026, Anthology 2026.findings-acl.412, DOI 10.18653/v1/2026.findings-acl.412; arXiv:2604.09212v1, source package and official checklist also audited

Fuente consultada: https://arxiv.org/abs/2604.09212

Revisión: Codex 21-page official Findings visual full-text, two-page checklist, TeX/source, persona-sampling, retrieval-baseline, drift-construct, echoing-human-protocol, statistics, GitHub, released-JSONL data-quality and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-4o-mini
  • DeepSeek-V3.2
  • Qwen-Plus
  • Qwen-max echoing judge
  • OpenAI text-embedding-3-large
  • DeepSeek-V4-Flash in the later public dataset only

Instrumentos y métricas

  • Egocentric Context Projection
  • CONCAT history baseline
  • Persona Validator and Persona Crafter
  • LLM Termination Detector
  • Three concerns, emotion and motivation drift probes
  • Cosine embedding distance and drift AUC
  • PCA with 50 retained components
  • Silhouette score
  • Davies-Bouldin index
  • One-way ANOVA on within/between distances
  • Top-K nearest-neighbor persona retrieval
  • Qwen-max binary echoing screen
  • Two-annotator binary echoing protocol
  • Observed agreement and Cohen kappa
  • Judge precision, recall and F1

Datos utilizados

  • Nine reported 5,000-conversation model-pairing corpora
  • 45,000 total synthetic conversations
  • 4,500 independently sampled persona profiles
  • ECP-CONCAT drift ablation with 50 personas and three conversations per model condition
  • Human echoing validation corpus with incompletely reported denominators
  • Later public SPASM v1.0.0 DeepSeek-V4-Flash 500 x 10 JSONL

Evidencia y localización

  • Publicación, diseño, resultados, limitaciones y apéndices: ACL Anthology 2026.findings-acl.412, DOI 10.18653/v1/2026.findings-acl.412; 21 páginas renderizadas e inspeccionadas
  • Fuente editable, prompts, fórmulas, tablas y discrepancias internas: arXiv:2604.09212v1 source package SHA-256 7a99917853a0f8ce611c8608b36d4a42a42f6d9eaa2fbb56417e59753f76fc2a; main TeX SHA-256 fc7a7abb6903614e5ed159ebd77021af1f89898d5310dda526b80caa424f0adcd
  • Anotadores, reporting humano y ausencia de revisión ética: Official Responsible NLP Checklist for 2026.findings-acl.412, both pages rendered and inspected
  • Estado real del repositorio y ausencia de código/corpus original: https://github.com/lhannnn/SPASM commit ee49b9288498688225405f2720b511261b306f50
  • Integridad del dataset público posterior: SPASM DeepSeek-V4-Flash v1.0.0 JSONL SHA-256 5e3021afd27779a540cb5f5e22e89dd8ab78d58302b0f28b0ac84bc2dd40bd5c; all 5,000 records independently parsed
  • Baseline exacto de retrieval: Independent hypergeometric calculation for nine same-persona neighbors among 4,999 versus 499 candidates
  • Auditoría integral de muestreo, retrieval, drift, echoing, estadística, artefactos y reproducibilidad: reports/verification/article-370-spasm-persona-sampling-retrieval-baseline-drift-echoing-statistics-code-data-release-and-reproducibility-audit.json