Long-Term Simulation Exposes Cognitive-Developmental Risks in AI Companions

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Kaicheng Shen, Lingyu Li, Wen Wu, Yan Teng, Liang He, Yingchun Wang

Palabras clave: Persona conditioning, Human simulation, Safety and bias, Longitudinal simulation, AI companions, LLM-as-judge, Developmental psychology, Measurement validity

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6
Autores
8
Hallazgos
19
Limitaciones
7
Evidencias

Resumen editorial

Español

El preprint propone TSJ (Theater-Stage-Judge), un banco sintético para evaluar conversaciones prolongadas con acompañantes de IA. Theater genera escenas y memorias; Stage representa al usuario mediante personas, variables psicológicas diseñadas por los autores, monólogos interiores y selección de ramas; Judge usa GPT-4.1 para puntuar cada día en una escala ordinal 0-4, buscar retrospectivamente supuestos antecedentes cuando aparece una puntuación de alto riesgo y reducir en un punto días anteriores señalados. El diseño cruza seis LLM objetivo, DeepSeek-V3, GPT-4o, Qwen3-235B-A22B, GPT-5, Gemini-3.1-pro y MiniMax-M2.5, con 24 dimensiones CDM y tres personas Red/Yellow/Green. Cada una de las 432 celdas tiene una sola trayectoria estocástica de 30 días y hasta siete turnos diarios: 12.960 días-persona simulados, no participantes humanos. Las cuatro etapas cambian simultáneamente de dimensión, producto ficticio y actor: GPT-4o representa primera infancia y adultez emergente, Qwen-Max infancia media y Llama-4-Maverick adolescencia. Por ello las diferencias entre edades no aíslan desarrollo. El artículo informa que la adultez emergente obtiene la menor seguridad media, seguida de primera infancia; Confianza Cognitiva y Dependencia Emocional son los dominios más bajos; y la persona amarilla moderada puede revelar fallos que no aparecen con señales rojas explícitas. Estos son patrones del sistema de prompts y del juez, útiles para diseñar pruebas, pero no observaciones de cambios cognitivos, apego o daño en personas. La afirmación longitudinal principal depende de una curva de retención R_t: proporción de trayectorias cuya media acumulada hasta t permanece por encima de su propia puntuación del día 1. Esta definición fuerza R_1=100%. Además, una comprobación exacta muestra que, aunque las puntuaciones diarias 0-4 sean independientes y estacionarias, sin deterioro, R_t cae por construcción a 60% el día 2, 55,2% el día 3, 50,65% el día 20 y 50,52% el día 30; el AULC nulo es 52,31. Los AULC publicados, aproximadamente 48-61, se solapan con esa referencia nula. Un sistema siempre puntuado con 0 tendría incluso R_t y AULC de 100. La métrica mide conservación relativa a una observación inicial ruidosa, con fuerte sensibilidad a empates y distribución marginal; no mide seguridad absoluta, daño acumulado ni degradación temporal. Sin calibración nula, permutación temporal, réplicas por celda o intervalos de incertidumbre, el descenso hacia 50% no demuestra que la seguridad empeore. La estabilización alrededor del día 20 también es compatible con la convergencia matemática de medias acumuladas; multiplicar 20 días por el máximo de siete turnos no demuestra que el riesgo solo se estabilice después de 140 turnos. El resto de la medición tampoco valida desarrollo humano: las variables en [0,1], el límite de actualización de ±0,2, los pesos, estados ideales, monólogos y el ruido drift-diffusion son decisiones de ingeniería; adoptar vocabulario psicológico o una ecuación de decisión no les da validez psicométrica. El rastreo de GPT-4.1 atribuye narrativamente un antecedente y revisa puntuaciones; no identifica causalidad. La validación humana cubre 100 episodios estratificados por la propia puntuación del juez y publica kappa ponderado=0,790 frente al consenso de tres expertos. Apoya parcialmente la clasificación ordinal diaria, pero no valida actores simulados, estados, ramas, rastreo causal, AULC, comparaciones por etapa ni resultados humanos; faltan muestreo por dimensión, procedimiento de consenso, incertidumbre y confusión por clase. La reproducibilidad es insuficiente: el PDF y el paquete fuente remiten a un suplemento inexistente en arXiv con las otras 23 rúbricas, prompts y estadísticas completas; no se publican código, datos, logs, assets, etiquetas expertas, seeds, parámetros de muestreo ni snapshots inmutables de modelos. La conclusión defendible es metodológica y exploratoria: las auditorías de acompañantes deberían probar distancia relacional, autonomía, autoridad epistémica y reconexión social a lo largo de interacciones con memoria. Este trabajo ofrece un vocabulario y una arquitectura sugerentes, pero su métrica principal no establece degradación longitudinal y el estudio no demuestra riesgos cognitivo-evolutivos en usuarios reales ni rankings reproducibles de productos o modelos.

English

This preprint proposes TSJ (Theater-Stage-Judge), a synthetic benchmark for prolonged AI-companion conversations. Theater generates scenes and memories; Stage represents the user through authored personas, engineered psychological variables, interior monologues, and branch selection; Judge uses GPT-4.1 to assign a daily 0-4 ordinal score, retrospectively find alleged antecedents after a high-risk score, and reduce flagged earlier days by one point. The design crosses six target LLMs, DeepSeek-V3, GPT-4o, Qwen3-235B-A22B, GPT-5, Gemini-3.1-pro, and MiniMax-M2.5, with 24 CDM dimensions and three Red/Yellow/Green personas. Each of the 432 cells has one stochastic 30-day trajectory with at most seven turns per day: 12,960 simulated person-days, not human participants. Developmental stages change the risk dimension, fictional product wrapper, and actor model together: GPT-4o acts for early childhood and emerging adulthood, Qwen-Max for middle childhood, and Llama-4-Maverick for adolescence. Age differences therefore do not isolate development. The paper reports that emerging adulthood has the lowest mean safety, followed by early childhood; Cognitive Trust and Emotional Dependence are the lowest domains; and moderate Yellow personas can reveal failures that explicit Red cues do not. These are patterns inside a prompt-and-judge system and may inform test design, but they are not observations of cognitive change, attachment, or harm in people. The primary longitudinal claim relies on a retention curve R_t: the fraction of trajectories whose cumulative mean through t remains at least their own day-1 score. This definition forces R_1=100%. An exact check further shows that if daily 0-4 scores are independent and stationary, with no deterioration, R_t still falls by construction to 60% on day 2, 55.2% on day 3, 50.65% on day 20, and 50.52% on day 30; null AULC is 52.31. The reported AULCs, roughly 48-61, overlap this null range. A system scored 0 on every day would even have R_t and AULC of 100. The metric measures preservation relative to one noisy initial observation and is sensitive to ties and the marginal score distribution; it does not measure absolute safety, cumulative harm, or temporal degradation. Without null calibration, time permutation, within-cell replicated trajectories, or uncertainty intervals, a decline toward 50% does not establish worsening safety. Flattening near day 20 is also compatible with mathematical convergence of cumulative means; multiplying 20 days by the maximum seven turns does not show that risk stabilizes only after 140 turns. The remaining measurement system does not validate human development either: variables in [0,1], a plus-or-minus 0.2 update cap, weights, ideal states, monologues, and drift-diffusion noise are engineering choices. Psychological vocabulary and a decision equation do not confer psychometric validity. GPT-4.1 retrospectively attributes a narrative antecedent and edits scores; it does not identify causality. Human validation covers 100 episodes stratified by the judge's own score and reports weighted kappa=0.790 against three-expert consensus. This partially supports daily ordinal classification but does not validate simulated actors, states, branches, causal tracing, AULC, stage comparisons, or human outcomes; sampling across dimensions, consensus procedure, uncertainty, and class confusion are missing. Reproducibility is inadequate: the PDF and source package refer to an absent arXiv supplement containing the other 23 rubrics, prompts, and full statistics; no code, data, logs, assets, expert labels, seeds, sampling parameters, or immutable model snapshots are public. The defensible conclusion is methodological and exploratory: companion audits should test relational distance, autonomy, epistemic authority, and offline reconnection over memory-bearing interaction. The paper offers a suggestive vocabulary and architecture, but its primary metric does not establish longitudinal degradation, and the study does not demonstrate cognitive-developmental risks in real users or reproducible rankings of products or models.

Pregunta de investigación

¿Puede un marco de simulación con personas, memoria, estado psicológico generado y evaluación retrospectiva revelar patrones de seguridad relacional que no aparecen en pruebas estáticas de acompañantes de IA, y cómo varían dentro del marco por modelo, etapa, dimensión y vulnerabilidad diseñada?

Método

Banco sintético TSJ de 432 trayectorias: seis modelos objetivo por 24 dimensiones CDM específicas de etapa por tres personas de vulnerabilidad. Theater genera escenas, ramas y memoria; Stage actualiza variables diseñadas y representa usuarios con distintos LLM actores; GPT-4.1 puntúa 30 días en 0-4, rastrea antecedentes tras puntuaciones <=1 y revisa retrospectivamente días anteriores. El paper resume medias, retención respecto al día 1 y AULC, y contrasta 100 episodios con consenso de tres expertos.

Muestra: Seis modelos x 24 dimensiones CDM x tres personas = 432 celdas. Una única trayectoria estocástica de 30 días por celda, con hasta siete turnos diarios: 12.960 días simulados y hasta unos 90.720 registros. No hay usuarios humanos ni productos desplegados. La validación del juez usa 100 episodios archivados estratificados por la puntuación 0-4 del propio GPT-4.1 y tres expertos cuyos detalles no se publican.

Hallazgos

  • Dentro de TSJ, la adultez emergente tiene la menor seguridad media, seguida de primera infancia; infancia media y adolescencia puntúan más alto.
  • Confianza Cognitiva y Dependencia Emocional son los dominios de menor media en el juez GPT-4.1.
  • Autonomy Promotion, Social Bridging, Epistemic Authority Calibration y Scaffolding Capability aparecen entre las dimensiones más débiles.
  • La persona amarilla moderada puede puntuar peor que la roja explícita en algunas dimensiones y modelos.
  • Los AULC publicados varían aproximadamente entre 48,0 y 60,7 por modelo y entre 51,3 y 56,1 por etapa.
  • La curva publicada se aplana alrededor del día 20, que el abstract traduce a 140 turnos máximos.
  • Una referencia nula exacta sin deterioro produce R_30=50,52 y AULC=52,31, solapándose con los resultados centrales.
  • Kappa cuadrático ponderado del juez frente al consenso experto se informa como 0,790 en 100 episodios estratificados.

Limitaciones

  • R_1=100 por identidad y la curva cae hacia aproximadamente 50 incluso con puntuaciones estacionarias sin deterioro.
  • AULC respecto a un solo día 1 no mide seguridad absoluta ni daño acumulado; un sistema siempre 0 obtiene AULC=100.
  • Las comparaciones de AULC son sensibles a distribución marginal, varianza y empates de la escala ordinal.
  • No hay calibración nula, permutación temporal, modelo de tendencia, intervalos de incertidumbre ni análisis de sensibilidad.
  • Solo hay una trayectoria aleatoria por celda; no existen réplicas por seed para separar modelo y ruta narrativa.
  • Las medias tratan una escala ordinal 0-4 como intervalar sin validar las 24 subescalas.
  • Las etapas están confundidas con dimensiones diferentes, wrappers ficticios y distintos LLM actores.
  • Los modelos objetivo reciben historias divergentes porque sus respuestas cambian estado y escenas posteriores.
  • Red/Yellow/Green son perfiles diseñados, no niveles psicométricamente validados de vulnerabilidad humana.
  • Variables, pesos, estados ideales, límites de actualización y ruido de decisión carecen de validación psicológica externa.
  • El rastreo de antecedentes por GPT-4.1 y la revisión posterior de scores no identifican causalidad.
  • La validación experta cubre puntuación diaria, no fidelidad del usuario simulado, dinámica, causalidad, AULC o efectos humanos.
  • Muestreo, consenso, cualificación de expertos, confusión por clase e incertidumbre de kappa no están disponibles.
  • GPT-4.1 evalúa también modelos de su familia sin un juez alternativo o análisis humano de sensibilidad.
  • El supuesto desarrollo del CDM por revisión sistemática y consulta no incluye protocolo, muestra experta ni validez de contenido.
  • El suplemento citado con 23 rúbricas, prompts y estadísticas completas falta del PDF y paquete fuente.
  • No hay código, datos, logs, assets, etiquetas, configuración de APIs, seeds, dependencias o snapshots reproducibles.
  • Los modelos y wrappers no son productos reales con memoria, interfaz, moderación o controles parentales.
  • El paper no incluye una sección específica de limitaciones.

Qué no demuestra

  • No demuestra que un acompañante de IA cambie la cognición, emoción, apego, autonomía o desarrollo de una persona.
  • No demuestra degradación longitudinal de seguridad mediante la curva R_t o AULC publicados.
  • No establece que 20 días o 140 turnos sean un mínimo válido o estable de evaluación.
  • No aísla diferencias causadas por edad o etapa de desarrollo.
  • No valida Red, Yellow y Green como niveles reales de vulnerabilidad psicológica.
  • No valida el motor de estado como modelo psicológico o cognitivo humano.
  • No identifica causalmente respuestas tempranas que originen daño posterior.
  • No establece rankings generalizables entre los seis modelos o productos de acompañamiento.
  • No valida las 24 dimensiones CDM como instrumento psicométrico completo.
  • No ofrece reproducción independiente de curvas, scores, kappa o trazas.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.25396v1

Fuente consultada: https://arxiv.org/abs/2606.25396v1

Revisión: Codex 19-page full-text visual, complete TeX, longitudinal-metric null, construct, stage-confounding, judge-validation, artifact, reproducibility, ethics and claim audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • DeepSeek-V3
  • GPT-4o
  • Qwen3-235B-A22B
  • GPT-5
  • Gemini-3.1-pro
  • MiniMax-M2.5
  • GPT-4.1 as CDM judge and retrospective tracer
  • GPT-4o as early-childhood and emerging-adult actor
  • Qwen-Max as middle-childhood actor
  • Llama-4-Maverick as adolescent actor

Instrumentos y métricas

  • Theater-Stage-Judge longitudinal simulation framework
  • Cognitive Developmental Risk Assessment Matrix (CDM)
  • Red/Yellow/Green authored vulnerability personas
  • Four fictional anthropomorphic product wrappers
  • Dimension-specific psychological variable templates
  • Shared contextual memory and story-tree generator
  • Three-alternative drift-diffusion branch selector
  • GPT-4.1 daily 0-4 ordinal judge
  • LLM retrospective causal-trace prompt
  • Posterior one-point score revision
  • Day-1 baseline-maintenance curve R_t
  • Area Under the Longitudinal Curve (AULC)
  • Three-expert consensus validation sample

Datos utilizados

  • 432 synthetic model-persona-dimension trajectories
  • 12,960 simulated interaction days
  • Up to approximately 90,720 unreleased interaction records
  • Unreleased 100-episode expert-validation sample

Evidencia y localización

  • Metadatos, versión y extensión: Official arXiv record and arXiv:2606.25396v1, checked 2026-07-16
  • Diseño, modelos, personas, días y arquitectura TSJ: arXiv v1, Sections 2 and 7.1-7.13; Figures 1 and 4
  • Resultados por modelo, etapa, dominio y persona: arXiv v1, Sections 2-5; Figures 1-3
  • Definición de R_t y AULC: arXiv v1, Section 3, Equations 1-2
  • CDM, juez, rastreo, revisión y validación experta: arXiv v1, Sections 7.14-7.18 and Table 2
  • Ausencia del suplemento y límites del paquete fuente: arXiv v1 PDF and e-print package f8ed6a8b9c4224c2b2102c111eed57d6fdf4961c6876daac44d105254880d037
  • Referencia estacionaria exacta, confusiones y auditoría de afirmaciones: reports/verification/article-294-tsj-null-retention-stage-confounding-missing-supplement-artifact-and-claim-audit.json