A Heterogeneous Temporal Memory Governance Framework for Long-Term LLM Persona Consistency

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Zhao Yang, Wang Huan, Li Yingshuo, Tu Haomiao, Lin Hujite

Palabras clave: Persona consistency, Role-playing agents, External memory, Long-term dialogue, Temporal ranking, Retrieval-augmented generation, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
15
Hallazgos
19
Limitaciones
4
Evidencias

Resumen editorial

Español

Este preprint presenta ARPM, un prototipo de memoria externa para conservar continuidad factual y temporal en diálogos largos. Su aportación más sólida no es una personalidad psicológica nueva, sino una arquitectura inspeccionable: separa conocimiento estable de experiencias conversacionales, recupera ambos por rutas distintas, fusiona vector y una variante BM25 mediante RRF, aplica decaimiento por distancia de ronda y tiempo físico, ordena cronológicamente las evidencias y exige una fase de análisis antes de responder. Así convierte parte de la continuidad en estado, retrieval, prompt y logs auditables, en vez de dejarla enteramente en pesos o contexto.

En dos pruebas estructuradas de 50 rondas, una regla automática marca 27/50 respuestas correctas con señal:ruido 1:5 y 22/50 con 1:200+; la revisión manual las eleva a 50/50 y 40/50. La auditoría reproduce exactamente esa aritmética desde los CSV: hay 23 y 18 cambios, todos de 0 a 1, y ninguno inverso. La etiqueta final no es recall clásico, sino un juicio conjunto de evidencia presente, apoyo y respuesta correcta. Sin segundo anotador, cegamiento de condición, acuerdo o auditoría inversa, la diferencia prueba desacuerdo con la regla automática, no una estimación imparcial de ventaja frente a otro sistema.

La hoja de ablación permite reconstruir los titulares con otra frontera. Desactivar historial corresponde a seis preguntas con cuatro etiquetas normales y dos errores: 66,7 %. Sin retrieval híbrido hay 20 filas: 16 correctas, tres «apenas correctas» y una errónea; el 80 % cuenta solo las 16 estrictas. H y A2 tienen 20/20 y ninguna anomalía. Pero los grupos cambian en tamaño, fecha, prompt, preset y vocabulario; no hay réplicas, aleatorización, seeds, intervalos ni inferencia. Son ablations descriptivas de un log, no efectos causales precisos.

La prueba cross-model encadena modelos a medida que avanza una conversación con contexto limpiado y un sustrato descrito como 5,1 millones de caracteres chinos de novela-ruido. El paper afirma 183 rondas y dos timeouts excluidos, pero el agregado y los tres logs públicos cubren índices 1-172. Phase II contiene 154 bloques de memoria, no una tabla de once rondas que reconcilie 183. El denominador no es reproducible. Además, modelo, ronda, tema, contaminación acumulada y dificultad cambian juntos; la caída de Qwen2.5, recuperación de Qwen3/LongCat y deriva de MiniMAX son observaciones de una trayectoria, no un leaderboard causal.

«Consistencia de persona» mezcla tono, profesión, forma de dirigirse al usuario, tarea, referencias sensoriales, recuerdo factual, tiempo y cumplimiento de etiquetas. La escala A-E carece de validez psicométrica, estructura factorial, fiabilidad o ground truth humano. El protocolo admite mezcla de puntuación humana y model-assisted. El constructo fiel es continuidad externa de hechos, referencias y estilo en un caso, no personalidad, identidad o experiencia subjetiva.

El repositorio es valioso e inspeccionable, pero la auditoría ejecutada encuentra defectos. El peso temporal supera 1 con timestamps futuros y se queda silenciosamente en 1 con timestamps timezone-aware; una prueba produjo 1,15356 para +24 h y 1,0 para -24 h con zona. Knowledge usa inner product no normalizado mientras historial usa coseno normalizado aunque comparten umbral 0-1. El «BM25+» es una variante propia con IDF desplazado. Faltan init de paquetes y otro package storage bloqueó imports. Los tests del snapshot pasan 9/10 configuración, 9/11 role validator y 3/5 retriever; fallos persisten en main, sin CI ni tag del paper. Main ya es v4.1.

Un documento público contiene además una credencial API en claro, no reproducida aquí; debe revocarse y purgarse. Flask carece de autenticación, enlaza 0.0.0.0, activa debug por defecto fuera de Docker y expone borrado/vaciado; la UI guarda la clave en localStorage. Es prototipo local, no servicio listo para red.

En conjunto, ARPM demuestra factibilidad e inspeccionabilidad de continuidad factual-temporal. Los CSV sostienen los recuentos manuales y la hoja las etiquetas descriptivas. No demuestra 183 rondas, comparación causal entre modelos, superioridad frente a otras memorias/long context ni personalidad psicológica. Las declaraciones de disponibilidad «not applicable» contradicen el repo y el artefacto actual no es el snapshot exacto del envío.

English

This preprint presents ARPM, a prototype external-memory system for factual and temporal continuity in long dialogue. Its strongest contribution is not a new psychological personality but an inspectable architecture: stable knowledge and dialogue experience are separated, retrieved through different paths, fused with vector ranking and a BM25-style variant through RRF, decayed over round distance and physical time, unfolded chronologically, and checked through an analysis-before-response protocol. This moves continuity into auditable state, retrieval, prompts, and logs rather than leaving it entirely in weights or context.

In two structured 50-round tests, an automatic rule marks 27/50 answers correct at signal-to-noise 1:5 and 22/50 at 1:200+, while manual review raises them to 50/50 and 40/50. The audit exactly reproduces the arithmetic from released CSVs: 23 and 18 changes, all 0-to-1 and none reversed. The final label is not conventional recall; it jointly judges prompt evidence, support, and answer correctness. Without a second annotator, condition blinding, agreement, or reverse audit, the gap establishes disagreement with the automatic rule, not an unbiased advantage over another system.

The ablation workbook also reconstructs the headlines. History disabled is six questions with four normal labels and two errors, yielding 66.7%. Without hybrid retrieval there are 20 rows: 16 correct, three barely correct, and one wrong; 80% counts only strict correct. H and A2 are 20/20 and anomaly-free. Groups differ in size, date, prompt, preset, and label vocabulary, with no repeats, randomization, seeds, intervals, or inference. These are descriptive log ablations, not precise causal effects.

The cross-model test hands one evolving conversation across models after context clearing against a claimed 5.1-million-Chinese-character novel-noise substrate. The paper states 183 rounds and two excluded timeouts, but the public aggregate and three logs span indexes 1-172. Phase II is a 154-record memory dump, not an eleven-round scoring table that reconciles 183. The denominator is not reproducible. Model, round, topic, accumulated contamination, and difficulty also change together; Qwen2.5 decline, Qwen3/LongCat recovery, and MiniMAX drift are trajectory observations, not causal model comparisons.

“Persona consistency” combines tone, occupation, address form, task and sensory continuity, factual memory, time, and tag compliance. Its A-E scale has no psychometric validation, factor structure, reliability, or human ground truth, and the protocol acknowledges mixed human/model-assisted scoring. The faithful construct is externally supported continuity of facts, references, and style in one trace, not personality, identity, or subjective experience.

The repository is useful and inspectable, but execution reveals defects. Temporal weight exceeds 1 for future timestamps and silently remains 1 for timezone-aware past timestamps; direct tests produced 1.15356 at +24h and 1.0 at timezone-aware -24h. Knowledge uses unnormalized inner product while history uses normalized cosine although both share a documented 0-1 threshold. “BM25+” is a custom shifted-IDF variant. Missing package initializers allowed another storage package to block imports. Paper-era tests pass 9/10 configuration, 9/11 role-validator, and 3/5 isolated retriever tests; failures persist on current main, with no CI or paper tag. Main has drifted to v4.1.

A public experiment note also contains a plaintext API credential, not reproduced here; it should be revoked and purged. Flask lacks authentication, binds to 0.0.0.0, defaults to debug outside Docker, and exposes destructive endpoints; the UI stores the provider key in localStorage. This is a local prototype, not a network-ready service.

Overall, ARPM supports feasible, inspectable factual-temporal continuity. CSVs support manual counts and the workbook supports descriptive labels. The artifact does not establish 183 rounds, causal cross-model comparisons, superiority over other memory/long-context systems, or psychological personality. “Not applicable” availability declarations conflict with the repository, and current main is not the exact submission snapshot.

Pregunta de investigación

¿Puede una memoria externa que separa conocimiento y experiencia, combina retrieval híbrido, decaimiento temporal, lectura cronológica y verificación previa mantener continuidad factual, temporal y de estilo bajo ruido, limpieza de contexto y relevo entre modelos?

Método

ARPM mantiene conocimiento global e historial por sesión. En conocimiento fusiona inner product vectorial y una variante BM25 mediante RRF; en historial usa coseno normalizado. Añade boosts de rol, decaimiento por rondas y horas, y evidencia cronológica al prompt. Evalúa dos QA de 50 rondas, nueve configuraciones en una hoja de 141 filas y una conversación secuencial cross-model. La auditoría revisó 23 páginas, TeX, historial git, CSV, XLSX, logs, tests y ejecución temporal.

Muestra: Dos ejecuciones QA de 50 rondas. Ablación: A=6, B=6, C=6 y D/E/F/G/H/A2=20, total 138 filas. El paper afirma 183 rondas cross-model y dos timeouts excluidos, pero el agregado público cubre 172. No hay suficientes usuarios, personajes, réplicas o anotadores independientes para estimar generalidad.

Hallazgos

  • Se reproducen exactamente 27/50 a 50/50 y 22/50 a 40/50.
  • Todos los cambios manuales son 0 a 1; ninguno 1 a 0.
  • El 66,7% es 4/6 con historial desactivado.
  • El 80% es 16/20 estrictas; otras tres son apenas correctas.
  • H y A2 registran 20/20 y cero anomalías.
  • Los grupos no son equivalentes ni repetidos.
  • El agregado cross-model público tiene 172 rondas, no 183.
  • La secuencia confunde modelo con tiempo, tema y contaminación.
  • Persona consistency mezcla constructos sin validación psicométrica.
  • El diseño externo y los logs son inspeccionables.
  • El cálculo temporal falla con futuros y zonas horarias.
  • La suite del snapshot no está verde.
  • Main es v4.1 y no hay tag inmutable del paper.
  • Una credencial pública requiere revocación y purga.
  • La app es prototipo local sin controles de red.

Limitaciones

  • Preprint sin peer review verificado.
  • Un sistema y una trayectoria principal.
  • Sin baseline equivalente de otra memoria o long context.
  • Revisión manual sin segundo anotador o acuerdo.
  • Cambios manuales exclusivamente favorables.
  • Ablations con tamaños y criterios distintos.
  • Sin seeds, repeticiones, intervalos o inferencia.
  • 183 rondas no reconciliadas con 172 públicas.
  • Cross-model secuencial y no contrabalanceado.
  • Ruido de 5,1M no publicado.
  • Ratings crudos y annotators no publicados.
  • Puntuación humana/model-assisted mezclada.
  • Constructo persona no validado.
  • Defectos en peso temporal y scores.
  • Tests fallan y no hay CI.
  • Sin tag o entorno exacto del paper.
  • Declaraciones de disponibilidad contradictorias.
  • Credencial pública y APIs destructivas sin autenticación.
  • Clave del proveedor persistida en localStorage.

Qué no demuestra

  • Personalidad psicológica estable o rasgos humanos.
  • Identidad, experiencia subjetiva o comprensión genuina.
  • Validez psicométrica de persona consistency.
  • Superioridad frente a otras memorias o long context.
  • Efecto causal independiente de cada componente.
  • Leaderboard causal entre modelos.
  • Generalización a otros usuarios, personajes, idiomas o tareas.
  • Robustez bajo réplicas independientes.
  • Reproducción de 183 rondas o del ruido completo.
  • Servicio seguro o listo para producción.
  • Suite verificada y libre de regresiones.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.14802v1, submitted 2026-05-14, 23 pages, complete TeX; public ARPM repository audited at paper-era c4bf1f2 and current df1425a

Fuente consultada: https://arxiv.org/abs/2605.14802v1

Revisión: Codex 23-page visual full-text, complete TeX, repository history, CSV/XLSX reproduction, construct, code, tests, temporal-weight, artifact-security and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • DeepSeek-v4-pro
  • GPT-5.5
  • Claude Opus 4.6
  • Gemini-3-pro
  • GLM-5.1
  • Kimi-K2.6X
  • Qwen2.5-7B
  • Qwen3-8B
  • LongCat-Flash
  • MiniMAX-M2-Her
  • shibing624/text2vec-base-chinese

Instrumentos y métricas

  • ARPM dual-source external memory
  • Vector inner-product retrieval
  • Custom positive-IDF BM25-style scorer
  • Reciprocal Rank Fusion
  • Dual round and physical-time exponential weighting
  • Chronological evidence unfolding
  • Analysis/response protocol and repair
  • Two 50-round structured QA audits
  • 141-row ablation workbook
  • A-E reasonableness, tone and persona-continuity scale
  • Five-dimensional persona-consistency heatmap
  • Independent code, artifact and claim audit

Datos utilizados

  • Released 1:5 manual-review CSV, 50 rows
  • Released 1:200+ manual-review CSV, 50 rows
  • ARPM ablation workbook, 138 experimental rows across nine groups
  • Released 172-round Phase III dialogue, recall and analysis logs
  • Phase II JSON memory dump with 154 records
  • Claimed but unreleased complete 5.1-million-character noise substrate
  • Unreleased complete runtime database and engineering logs

Evidencia y localización

  • Texto, método, resultados, figuras y declaraciones: arXiv:2605.14802v1; PDF sha256 676d2a160baaf8e340bbcd7b1709e52aedccf572b29974a845de0cbb901a780b; TeX sha256 e210349865709f4e6577268a795e292e98b5ec102171cc8e1b5ba0459638689a
  • Código asociado y deriva: ARPM commits c4bf1f2b7a3333932f0b52a6e0ef515c11894606 and df1425af51aa51ef1f8509cc4479ce4ea621f1d5
  • Reproducción CSV/XLSX: CSV sha256 970ae238... and 8adc57de...; XLSX sha256 a2852c99...; artifact-tool visual and arithmetic audit
  • Auditoría independiente: reports/verification/article-331-arpm-temporal-memory-persona-construct-experiment-code-repository-security-and-reproducibility-audit.json