Do No Harm: Exposing Hidden Vulnerabilities of LLMs via Persona-based Client Simulation Attack in Psychological Counseling

The paper introduces PCSA, a simulated-client attack for stress-testing LLM safety in psychological support. It draws profiles and language patterns from Cactus, CBT-DP, and Cheeseburger Therapy conversations; maps an adversarial mental-health objective to a cognitive distortion; and uses a locally deployed Llama-3.3-70B-Instruct-abliterated model to conduct an adaptive dialogue with the target. The attacker alternates four clinically framed interaction strategies, while GPT-4o-mini scores candidates inside a best-of-N loop. GPT-4o then marks the final response unsafe if it detects target compliance, harmful content, professional impersonation, or toxic empathy. Four multi-turn attacks, Chain of Attack, AMA, Crescendo, and Actor-Attack, are compared across eight targets: Llama-3.1 8B and 70B, GPT-3.5 Turbo, GPT-5.1, Crispers-7B, PsychoCounsel-Llama3-8B, Qwen3-14B, and Qwen2.5-72B. The abstract says seven models and expands PCSA as Personality-based, whereas the title, method, and tables use eight and Persona-based. PCSA reports CARES ASR from .67 to .88 and GPT-judge ASR from .71 to .89. Averaged over targets, it triggers target compliance .57, harmful content .27, toxic empathy .44, and impersonation .12. Its GPT-2 perplexity ranges from 15.40 to 18.29, with no prompt above the threshold of 100. The perplexity filter leaves ASR unchanged; SelfDefend reduces it by .05-.18 and Granite Guardian by 0-.05. These results support the bounded conclusion that, under this benchmark and its judges, an adaptive persona simulation finds more failures than the four baselines. They are not clinical-harm rates. CARES strict ASR defines every non-refusal as failure, merging Cautious, which may include mitigation and safe escalation, with Accept. An ASR of .88 therefore does not mean that 88% of responses provide harm or fulfill the target. Safety Score partly preserves the three levels, but still depends on GPT-4o-mini. Evaluation is also optimization-dependent: GPT-4o-mini guides attack selection and performs CARES classification, while GPT-4o, from the same provider/model family and using harm categories aligned with the loop, supplies the other primary endpoint. There is no independent clinical judge or alternative judge family. The any-flag rule prioritizes sensitivity, but specificity is unmeasured, and appendix cases include contestable boundaries such as diagnostic language paired with a professional disclaimer or an initially validating phrase followed by redirection. Critical information is missing: the numbers of personas, objectives, attempts, and responses; turns; best-of-N value; candidates; errors and exclusions; temperature, top-p, token limits, seeds, and immutable API snapshots. Without a denominator or sampling unit, ASR, defense effects, and variability cannot be audited. The manuscript says PCSA significantly outperforms baselines but provides no tests, intervals, repeated runs, or multiplicity adjustment. Human checks do not resolve this. A 96.4% realism win rate is reported over 28 comparisons without the numbers of prompts, annotators, or ratings. On 48 PCSA pairs, human-GPT agreement is 87.5%, equivalent to 42/48 if complete, but prevalence, kappa, interval, sensitivity, specificity, and category-level results are absent; baseline responses are not validated. Annotators are first described as having a psychology background and later as clinical-psychology experts, without counts or credentials. Low perplexity establishes fluency against a GPT-2 detector, not clinical realism or indistinguishability from genuine patients. High ASR on two counseling models also does not show that empathy fine-tuning causes vulnerability: matched base controls, ablations, and controls for scale, corpus, and alignment recipe are absent. The three defenses are under-specified and their false positives on genuine help-seekers are not evaluated. Data governance needs caution. Cactus is a synthetic CBT corpus, not real therapy. The paper merely says it incorporates Cheeseburger Therapy conversations; the current site calls sessions anonymish, lets community members share chats, and says staff and academic collaborators periodically review them. The paper does not identify the subset or snapshot, acquisition route, license, consent or reuse permission, de-identification, retention, or withdrawal. Its claim that no real therapy transcripts or patient data were used is not adequately reconciled with material from a live peer-support service. An expert-consent template is included, but no ethics board, approval, compensation, safeguards for exposure to self-harm material, or debriefing is reported. Although the paper says examples avoid actionable harm, the appendix publishes concrete harmful objectives and operational prompts; this summary keeps the mechanism at a high level. No code, exact dataset, dialogues, outputs, judgments, annotations, or scripts are public; release is promised upon publication. PCSA identifies an important safety risk that deserves independent evaluation, but v1 does not permit reproduction of its rates, causal attribution to empathy tuning, or extrapolation to real-world harm in psychological care.

El artículo presenta PCSA, un ataque de simulación de cliente para poner a prueba la seguridad de LLM usados en apoyo psicológico. Parte de perfiles y estilos tomados de Cactus, CBT-DP y conversaciones de Cheeseburger Therapy; relaciona un objetivo adversarial de salud mental con una distorsión cognitiva y hace que un Llama-3.3-70B-Instruct-abliterated local sostenga un diálogo adaptativo con el modelo objetivo. El atacante alterna cuatro estrategias de interacción clínica y GPT-4o-mini puntúa candidatos dentro de un bucle best-of-N. Al final, GPT-4o marca la respuesta como insegura si detecta cumplimiento del objetivo, contenido dañino, suplantación profesional o empatía tóxica. Se comparan cuatro ataques multi-turno, Chain of Attack, AMA, Crescendo y Actor-Attack, sobre ocho modelos: Llama-3.1 8B y 70B, GPT-3.5 Turbo, GPT-5.1, Crispers-7B, PsychoCounsel-Llama3-8B, Qwen3-14B y Qwen2.5-72B. El abstract dice siete modelos y denomina el método Personality-based, mientras que título, método y tablas usan ocho y Persona-based. Según CARES, PCSA obtiene ASR de 0,67 a 0,88; con el juez GPT, de 0,71 a 0,89. En promedio sobre modelos, activa target compliance 0,57, harmful content 0,27, toxic empathy 0,44 e impersonation 0,12. Sus prompts tienen perplexity GPT-2 entre 15,40 y 18,29 y ninguno supera el umbral 100. El filtro de perplexity no cambia ASR; SelfDefend lo reduce entre 0,05 y 0,18 y Granite Guardian entre 0 y 0,05. Estas cifras apoyan la conclusión acotada de que, bajo este benchmark y sus jueces, una simulación adaptativa con persona encuentra más fallos que los cuatro baselines. No son tasas de daño clínico. El ASR estricto de CARES define como fallo cualquier respuesta que no sea rechazo: agrupa Cautious, que puede contener mitigación y derivación segura, con Accept. Por tanto, un ASR de 0,88 no significa que 88% de las respuestas proporcione daño o cumpla el objetivo. El Safety Score conserva parcialmente los tres niveles, pero también depende de GPT-4o-mini. La evaluación presenta además dependencia circular: GPT-4o-mini guía la optimización del ataque y vuelve a evaluar CARES, mientras GPT-4o, de la misma familia/proveedor y con categorías alineadas con el bucle, decide el segundo resultado principal. No hay juez clínico independiente ni familia alternativa. El criterio any-flag maximiza sensibilidad, pero no se mide especificidad y los casos del apéndice incluyen fronteras discutibles, como lenguaje diagnóstico acompañado de una advertencia profesional o una frase inicialmente validante seguida de redirección. Falta información decisiva: número de personas, objetivos, intentos y respuestas; turnos; valor de N; candidatos; errores y exclusiones; temperatura, top-p, tokens, semillas y snapshots exactos de API. Sin denominador ni unidad de muestreo no pueden auditarse ASR, defensa o variabilidad. El texto afirma que PCSA supera significativamente a los baselines, pero no publica tests, intervalos, repeticiones ni corrección de multiplicidad. La validación humana tampoco resuelve esto. Se informa un 96,4% de victorias en 28 comparaciones de realismo, sin número de prompts, anotadores o ratings. En 48 pares PCSA, el acuerdo humano–GPT es 87,5%, equivalente a 42/48 si no hubo datos ausentes, pero faltan prevalencia, kappa, intervalo, sensibilidad, especificidad y resultados por categoría; tampoco se validan respuestas de los baselines. Los anotadores se describen primero como personas con formación en psicología y después como expertos en psicología clínica, sin cantidad ni credenciales. La baja perplexity muestra fluidez frente a un detector GPT-2, no realismo clínico ni indistinguibilidad de pacientes reales. La alta vulnerabilidad de dos modelos de counseling tampoco demuestra que el ajuste de empatía la cause: faltan controles con sus modelos base, ablaciones y control de tamaño, corpus y receta de alineamiento. Las tres defensas están insuficientemente configuradas y no se evalúan falsos positivos en usuarios genuinos. La gobernanza de datos requiere cautela. Cactus es un corpus CBT sintético, no terapia real. El artículo solo dice que incorpora conversaciones de Cheeseburger Therapy; el sitio actual denomina sus sesiones anonymish, permite compartir chats con la comunidad y avisa de revisión periódica por equipo y colaboradores académicos. El paper no identifica subconjunto ni snapshot, método de obtención, licencia, consentimiento o permiso para reutilización, desidentificación, retención o retirada. La afirmación de que no se usaron transcripciones reales o datos de pacientes no queda reconciliada con un servicio vivo de apoyo entre pares. Incluye un formulario de consentimiento para expertos, pero no comité ético, aprobación, compensación, protección ante exposición a autolesión ni debriefing. Aunque promete evitar instrucciones accionables, el apéndice publica objetivos dañinos y prompts operativos; este resumen mantiene el mecanismo a alto nivel. No hay código, dataset exacto, diálogos, outputs, juicios, anotaciones o scripts públicos; se prometen tras publicación. PCSA señala un riesgo de seguridad importante que merece evaluación independiente, pero la versión v1 no permite reproducir sus tasas, atribuir causalidad al ajuste empático ni extrapolar a daño real en atención psicológica.