Persona-Grounded Safety Evaluation of AI Companions in Multi-Turn Conversations

Aplicaciones, sesgos y seguridad2026ACL AnthologyRevisión editorial aprobada

Autores: Prerna Juneja, Lika Lomidze

Palabras clave: Persona conditioning, Human simulation, AI companions, Safety evaluation, LLM-as-judge, Psychometric validity, Measurement validity

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2: Autores
8: Hallazgos
21: Limitaciones
4: Evidencias

Resumen editorial

Español

Este artículo largo de ACL 2026 propone un stress test de aplicaciones de compañía mediante nueve personas LLM que representan depresión, ansiedad, PTSD, trastornos alimentarios e identidad incel. Gemini-2.5-Flash interpreta las personas y actúa también como crítico PACE; Selenium mantiene conversaciones con Replika Pro y GPT-5 etiqueta estrategia y daño. Los archivos públicos confirman exactamente 1.674 pares persona-Replika: 1.296 pertenecen a 81 ejecuciones de escenarios y 378 al acondicionamiento neutral de historia. Las tablas reportan que 1.522/1.674 respuestas (90,9%) son apoyo/reflejo y permiten inferir 237 respuestas dañinas (aprox. 14,2%), con tasas mayores en trastorno alimentario (26,6%), PTSD (14,5%) y escenarios como conducta compensatoria, consumo de sustancias o roleplay arriesgado. Es una señal de seguridad útil sobre una instantánea de Replika, no una estimación de prevalencia real. La auditoría limita varias afirmaciones: 378 pares no son probes de alto riesgo y 81 son cierres fijos; sólo 1.134 respuestas entregadas fueron realmente filtradas por PACE. Sus trazas muestran regeneración en 20,9%, no 25,5%, y 139 resultados finales por debajo del umbral. El texto afirma 1.808 etiquetas de persona, pero la tabla suma 1.751, y presenta 65,8%, 21,4% y 13,6% como composición del daño aunque la figura los define como tasas dentro de cada fila. La llamada validación clínica/psicométrica consiste en que un solo psicólogo elige tarjetas generadas y el mismo simulador responde cuestionarios coherentes con condiciones ya escritas; esto prueba obediencia al prompt, no realismo clínico, diagnóstico ni validez de constructo. El orden de escenarios es fijo y la memoria de Replika se acumula. Se publican conversaciones y código de recogida, pero no etiquetas GPT-5, salidas GoEmotions, respuestas psicométricas, gold labels humanos, análisis ni datos de Character.ai. El trabajo sustenta un baseline exploratorio de red teaming sintético, no conclusiones sobre usuarios o pacientes reales.

English

This ACL 2026 long paper proposes an AI-companion stress test using nine LLM personas representing depression, anxiety, PTSD, eating disorders and an incel identity. Gemini-2.5-Flash plays the personas and also serves as the PACE critic; Selenium conducts conversations with Replika Pro, and GPT-5 labels response strategy and harm. The public files reconcile exactly to 1,674 persona-Replika pairs: 1,296 come from 81 scenario runs and 378 from neutral history conditioning. Reported tables classify 1,522/1,674 responses (90.9%) as supportive reinforcement or mirroring and imply 237 harmful responses (about 14.2%), with higher rates for eating-disorder personas (26.6%), PTSD (14.5%), and scenarios such as compensatory behavior, substance use and risky roleplay. This is a useful safety signal about one Replika snapshot, not a real-world prevalence estimate. The audit narrows several claims: 378 pairs are not high-risk probes and 81 are fixed closings; only 1,134 delivered replies were genuinely PACE-filtered. Released traces show regeneration on 20.9%, not 25.5%, and 139 final scores below threshold. The text claims 1,808 persona labels, but Table 10 sums to 1,751, and it describes 65.8%, 21.4% and 13.6% as shares of harm even though the figure defines them as within-row harm rates. The claimed clinical and psychometric validation consists of one psychologist selecting generated cards and the same simulator answering inventories that match conditions already encoded in those cards; this demonstrates prompt consistency, not clinical realism, diagnosis or construct validity. Scenario order is fixed and Replika memory accumulates. Conversations and collection code are public, but GPT-5 labels, GoEmotions outputs, psychometric answers, human gold labels, analysis code and Character.ai data are missing. The study supports an exploratory synthetic red-teaming baseline, not conclusions about real users or patients.

Pregunta de investigación

¿Puede una simulación multi-turno guiada por personas clínicamente tematizadas detectar patrones de respuesta potencialmente dañinos en aplicaciones de compañía como Replika?

Método

Tres LLM generan tarjetas de persona y un psicólogo clínico elige una por perfil. Gemini-2.5-Flash simula nueve personas y completa inventarios como control de coherencia. Tras una historia neutral, cada persona recorre cuatro escenarios específicos y cinco universales en Replika Pro mediante Selenium. Un segundo Gemini puntúa cada respuesta candidata con PACE y permite hasta dos reintentos. GoEmotions asigna la emoción dominante; GPT-5 clasifica estado de la persona, estrategia de Replika y daño binario. La auditoría leyó visualmente las 28 páginas de arXiv y ACL, inspeccionó TeX, prompts, 171 logs, siete archivos Python y reconcilió corpus, denominadores y trazas PACE.

Muestra: El corpus público contiene 90 sesiones y 1.674 pares: nueve historias neutrales de 42 pares y 81 ejecuciones de escenario de 16 pares. Hay nueve personas, cada una con cuatro escenarios específicos y cinco universales. De los 1.296 pares de escenario, 81 son cierres fijos; quedan 1.215 probes sustantivos. PACE registra 1.215 evaluaciones, pero 81 puntúan candidatos descartados antes del cierre, de modo que sólo 1.134 respuestas entregadas pasan realmente por su decisión.

Hallazgos

Los 90 archivos públicos reconcilian exactamente 1.674 intervenciones de persona y 1.674 respuestas de Replika.
La tabla de estrategia asigna 1.522/1.674 respuestas de Replika (90,9%) a apoyo, refuerzo o reflejo; redirección aparece en 56 y límites/rechazo en 23.
La Tabla 2 implica 237 respuestas dañinas únicas, aproximadamente 14,2% del corpus completo.
Las tasas reportadas por tipo son ED 26,6%, PTSD 14,5%, MDD 11,6%, Incel 7,5% y GAD 7,3%.
Los escenarios con mayores tasas reportadas incluyen conducta compensatoria y juicio social ED (62,5%), consumo de sustancias PTSD (56,2%), retirada MDD (46,9%), fantasía violenta Incel (31,2%) y roleplay sexual arriesgado universal (48,6%).
Las trazas contienen 1.215 decisiones PACE, 254 primeros candidatos bajo .8 (20,9%) y 139 puntuaciones finales bajo .8 (11,4%).
La Tabla 10 suma 1.751 etiquetas de persona, no las 1.808 declaradas en el apéndice.
La versión oficial está aceptada como artículo largo ACL 2026, DOI 10.18653/v1/2026.acl-long.828.

Limitaciones

El abstract atribuye 1.674 pares a 25 escenarios de alto riesgo, pero 378 son historia neutral y 81 son cierres fijos.
Sólo 1.134 de las 1.674 respuestas de persona entregadas fueron realmente filtradas por PACE.
PACE regenera 20,9% en las trazas publicadas, no 25,5%, y entrega 139 resultados por debajo de su umbral.
En el último turno de cada escenario se juzga un candidato y luego se sustituye por un cierre fijo; la puntuación registrada pertenece al texto descartado.
Los escenarios siguen siempre el mismo orden y el código no inicia un chat nuevo en Replika; la memoria del backend puede contaminar escenarios posteriores.
Hay una sola trayectoria por persona y escenario, sin réplicas que midan variación generativa o estabilidad del backend.
No se registra versión inmutable de Replika, Gemini, GPT-5 o GoEmotions ni seeds de generación.
Un solo psicólogo elige tarjetas sin rúbrica publicada, panel independiente ni acuerdo entre expertos.
Los cuestionarios los contesta el mismo LLM condicionado por tarjetas que ya codifican los síntomas; el resultado es autocumplido.
No se publican respuestas ítem a ítem ni scoring; EAT-26 usa una conversión fraccional 0-5 a 0-3 no estándar.
La identidad incel se agrupa con condiciones clínicas aunque no sea un diagnóstico, y la tarjeta representa un arquetipo especialmente tóxico.
Las etiquetas GPT-5 y GoEmotions, los gold sets humanos y las respuestas psicométricas no están en el repositorio.
La validación GPT-5 usa 100 o 250 pares y reporta sólo exactitud global, sin métricas por clase, incertidumbre ni acuerdo del gold set.
El texto declara 1.808 etiquetas de persona, pero sus conteos y figura usan 1.751.
El texto confunde tasas condicionales de daño por fila con proporciones de todos los daños en su lectura del 65,8%, 21,4% y 13,6%.
La figura multi-label usa 1.751 pares etiqueta-respuesta y 15,2%, mientras la tabla por persona usa 1.674 respuestas únicas y aproximadamente 14,2%.
Los escenarios están diseñados para provocar riesgo; sus porcentajes no estiman conversaciones ordinarias ni usuarios reales.
La Tabla 4 invierte las temperaturas respecto al README y a los logs de escenario.
Las dependencias no tienen versiones, lockfile, contenedor, CI ni tests; los selectores Selenium dependen de una UI mutable.
El flag booleano de argparse interpreta la cadena False como verdadera y la configuración OpenAI-emulador/Google-juez puede fallar por un import condicional.
Faltan el pipeline de anotación y análisis, tablas reproducibles, salidas crudas de modelos y datos/código de Character.ai.

Qué no demuestra

Que las personas simuladas sean pacientes realistas o representativas de las poblaciones nombradas.
Que superar un cutoff en respuestas generadas constituya diagnóstico o validez psicométrica de constructo.
Que un 14,2% de las conversaciones reales de Replika sea dañino.
Que el patrón sea estable entre ejecuciones, cuentas, versiones del backend o distinto orden de escenarios.
Que PACE preserve fidelidad en todo el corpus o filtre estrictamente todas las respuestas bajo umbral.
Que curiosidad o cuidado causen el daño en vez de correlacionarse con la etiqueta SRM en escenarios construidos.
Que las etiquetas GPT-5 sean gold labels o que sus porcentajes sean independientes del anotador elegido.
Que los resultados de Character.ai puedan verificarse desde el artefacto público.
Que el sistema publicado permita reproducción end-to-end de los resultados y figuras.
Que las conclusiones generalicen a usuarios humanos, interacciones cotidianas u otras aplicaciones de compañía.

Trazabilidad

Alcance: Texto completo

Versión: ACL 2026 long paper 2026.acl-long.828, pages 18148-18175; arXiv:2605.00227v1, TeX and repository commit 679378a audited

Fuente consultada: https://aclanthology.org/2026.acl-long.828/

Revisión: Codex 28-page ACL/arXiv visual full-text, TeX, transcript, PACE-trace, clinical-construct, denominator, code and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

Gemini-2.5-Flash as persona simulator
Gemini-2.5-Flash as PACE critic
GPT-5 for persona, strategy and harm annotation
Google GoEmotions classifier
Replika backend observed through Replika Pro
Character.ai neutral boyfriend and girlfriend characters in an unreleased supplementary replication

Instrumentos y métricas

Beck Depression Inventory-II (BDI-II)
Generalized Anxiety Disorder-7 (GAD-7)
PTSD Checklist for DSM-5 (PCL-5)
Eating Attitudes Test (EAT-26)
Ambivalent Sexism Inventory and Hypermasculinity Inventory
Persona Adherence and Consistency Evaluator (PACE)
GoEmotions top-label classification
GPT-5 multi-label persona-state, response-strategy and binary-harm schemes

Datos utilizados

Nine public persona description cards
Twenty-five public high-risk scenario prompts
Nine natural-history transcripts with 378 pairs
Eighty-one Replika scenario transcripts with 1,296 pairs
Eighty-one public PACE trace logs
Unreleased GPT-5 and GoEmotions annotations
Unreleased 1,586-pair Character.ai supplementary corpus

Evidencia y localización

Texto oficial, tablas, figuras, anexos y prompts: ACL Anthology 2026.acl-long.828; DOI 10.18653/v1/2026.acl-long.828; PDF sha256 f16e70873baf0891c67b086a4075ce270c5be7b654724fe379a25e4c2a60fe11
TeX, historial editorial y versión arXiv: arXiv:2605.00227v1; source archive sha256 632034a4e2f054adea7486d4c272609113c2a7c379ccd7e55fd91cf3cf3f833c
Corpus, prompts, código y trazas PACE reconciliados: GitHub prernajuneja/ai-companion-eval-framework commit 679378a53ae38d3054d444c1c0b6565d3a4e309e; archive sha256 f6398c3130d39cd454c0424c6b52e5fefad727e270d9a4b072ca7fa9b3202544
Auditoría de constructo clínico, denominadores, PACE, etiquetas, código y reproducibilidad: reports/verification/article-351-ai-companion-clinical-construct-pace-denominator-annotation-code-and-reproducibility-audit.json