Creating Multilingual Mental Health Dialogue Datasets: Limits of Persona-Based Localization via Nationality and Language

Este preprint aceptado en el workshop CLPsych 2026 estudia una pregunta útil y deliberadamente limitada: si doce personas clínicas sintéticas creadas en inglés conservan señales comparables de gravedad depresiva cuando solo se cambian nacionalidad e idioma. Los autores parten de doce perfiles previos con puntuaciones BDI-II distintas y cuatro síntomas destacados. Mantienen en inglés el resto del perfil y producen cuatro condiciones: Estados Unidos-inglés, China-mandarín, Bangladesh-bengalí e India-hindi. ChatGPT-4o-mini genera cinco conversaciones por persona y después cinco LLM, ChatGPT-4o-mini, DeepSeek-v3.2, DeepSeek-R1-8B, Llama 3.1-8B y Qwen3-8B, comparan a ciegas los 66 pares posibles de cada idioma para decidir qué paciente parece más deprimido o declarar empate. La exactitud inglesa es la mayor para todos los jueces. Los porcentajes publicados van de 86,36 a 95,45 para GPT-4o-mini, de 83,33 a 93,75 para DeepSeek-v3.2 y fluctúan más en los modelos abiertos de 8B; DeepSeek-R1-8B pasa de 63,33 en bengalí a 98,21 en inglés y Llama3-8B de 45,45 a 84,13. El artículo interpreta que sustituir dos etiquetas no crea automáticamente personas clínicas equivalentes y recomienda validar cada artefacto multilingüe en su idioma y contexto. Esa conclusión prudente está alineada con el diseño, pero los resultados no permiten separar idioma, cultura, calidad del generador y fiabilidad del juez: cada país está acoplado a un solo idioma, una sola llamada genera ambas voces y no hay revisión de clínicos ni hablantes nativos. La auditoría del repositorio público hace visible una limitación más fundamental. pipeline.py no ejecuta dos agentes interactivos: realiza una única llamada a ChatGPT-4o-mini y le pide escribir completas las cinco conversaciones, tanto terapeuta como paciente. Esa llamada recibe la puntuación BDI-II exacta, la etiqueta de gravedad, los cuatro síntomas, el perfil íntegro y la definición puntuable de los 21 ítems. La evaluación mide, por tanto, cuánto recupera otro LLM unas pistas insertadas deliberadamente por un generador, no una inferencia clínica independiente ni una entrevista emergente. También hay una divergencia entre manuscrito y artefacto: el texto dice cinco a siete turnos por sesión y cuatro sesiones por síntoma más una mixta, mientras el prompt público pide cinco ejemplos de unas diez intervenciones y no codifica esa estructura. La calidad del corpus impide tratarlo como dataset validado. Elena-P2 en bengalí contiene una frase chino-inglesa y una respuesta sobre el sueño con la palabra indonesia tidur seguida del token árabe/urdu خواب repetido 160 veces; Maria-P9 contiene _worker y النوم. El problema no es solo code-switching natural. Más grave, los chats ingleses Elena-P2 y Maria-P9 tienen similitud 0,99904: salvo el nombre inicial y la puntuación de cinco encabezados son idénticos, y todos los turnos de Elena hablan como Maria. Así, dos perfiles con puntuaciones ocultas 35 y 40 reciben prácticamente el mismo texto, uno mal etiquetado. La menor exactitud bengalí puede reflejar corrupción evidente del generador, y el inglés no es una línea base limpia. La métrica también exige cautela. La exactitud elimina los empates del denominador. En DeepSeek-R1-8B inglés hay 55 aciertos, un error y diez empates: 55/56 produce el 98,21% publicado, pero 55/66 es 83,33% si las abstenciones cuentan en el rendimiento total. En DeepSeek-v3.2 inglés, 60 aciertos, cuatro errores y dos empates equivalen a 93,75% sin empates y 90,91% sobre los 66 pares. Además, la tabla de exactitud y la tabla de empates de Llama3-8B son aritméticamente incompatibles: 84,13% en inglés requiere al menos tres empates y 65,38% en hindi al menos catorce, ya diecisiete frente a los catorce totales declarados antes de considerar los otros idiomas. Sin resultados crudos no puede resolverse. La llamada Same-Level Error Rate tampoco es una tasa sobre pares, sino el porcentaje de los errores que ocurre dentro de una categoría. El 100% inglés de DeepSeek-R1-8B significa que su único error no-empate fue intranivel; no estima de forma estable una calibración. Encima, el artículo clasifica 12 y 13 como depresión leve. Los rangos estándar de BDI-II son 0-13 mínimo, 14-19 leve, 20-28 moderado y 29-63 grave, por lo que P3 y P4 están mal etiquetados. Esto cambia de doce a dieciséis los pares intranivel y altera el numerador del indicador. BDI-II mide gravedad autoinformada y no diagnostica por sí solo; aquí el ground truth es una puntuación oculta del prompt, no una administración independiente del inventario sobre el diálogo. La reproducibilidad es parcial. El repositorio libera 48 perfiles localizados y 48 archivos de chat, el prompt, los totales ocultos y dos jueces, y todo el Python compila. Pero el generador está fijado a P7 y solo bengalí; los otros idiomas están comentados y el inglés no existe en la configuración. Usa el alias mutable gpt-4o-mini sin snapshot, semilla, temperatura ni metadatos de llamada. El juez API solo configura deepseek-chat a temperatura 1,3; el local solo deepseek-r1:8b y tiene una URL inválida. No hay configuraciones de los otros tres jueces, resultados JSONL/CSV, agregador, código de métricas o tablas, dependencias, lockfile, tests, CI, licencia ni instrucciones ejecutables. Por ello puede auditarse el corpus, pero no regenerar las tablas. El propio artículo reconoce que no hay pruebas de significación, revisores humanos ni separación entre generación y evaluación, y advierte contra diagnóstico o despliegue. Esa cautela debe conservarse. También debe ignorarse como evidencia una primera frase de la sección Ethics que habla de trauma, terapia de exposición prolongada, psicoterapeutas y futuras restricciones de licencia: es material ajeno pegado en el manuscrito y contradice el repositorio sin licencia. La contribución defendible no es un dataset clínico multilingüe ni una demostración general de que las personas localizadas fracasan. Es un caso negativo valioso: la sustitución superficial no garantiza equivalencia, la evaluación LLM-as-judge puede amplificar errores del generador y cualquier corpus de salud mental requiere QA lingüístico humano, categorías clínicas correctas, datos crudos y métricas que contabilicen abstenciones antes de sostener comparaciones entre idiomas.

This CLPsych 2026 workshop preprint asks a useful and deliberately narrow question: whether twelve English synthetic clinical personas preserve comparable depression-severity signals when only nationality and language are changed. The authors start from twelve prior profiles with distinct BDI-II totals and four highlighted symptoms. The remainder of each profile stays in English while four conditions are created: United States-English, China-Mandarin, Bangladesh-Bengali, and India-Hindi. ChatGPT-4o-mini generates five conversations per persona, after which five LLMs, ChatGPT-4o-mini, DeepSeek-v3.2, DeepSeek-R1-8B, Llama 3.1-8B, and Qwen3-8B, blindly compare all 66 persona pairs per language and choose which patient appears more depressed or return a tie. English has the highest reported accuracy for every judge. Published values range from 86.36 to 95.45 for GPT-4o-mini and from 83.33 to 93.75 for DeepSeek-v3.2, while open 8B models fluctuate more: DeepSeek-R1-8B moves from 63.33 in Bengali to 98.21 in English and Llama3-8B from 45.45 to 84.13. The paper interprets this pattern as evidence that changing two labels does not automatically produce equivalent clinical personas and recommends language- and context-specific output validation. That cautious conclusion is compatible with the design, but the results cannot separate language, culture, generator quality, and judge reliability: each country is coupled to one language, one call authors both voices, and no clinician or native-speaker review is included. Auditing the public repository exposes a more fundamental limitation. pipeline.py does not run two interacting agents; it makes one ChatGPT-4o-mini call and asks the model to write all five complete conversations, including therapist and patient turns. That call receives the exact BDI-II total, severity label, four symptoms, full profile, and scored definitions of all 21 BDI-II items. The task therefore measures how well another LLM recovers deliberately planted cues from one generator's synthetic text, not independent clinical inference or an emergent interview. The manuscript and artifact also diverge: the paper says five to seven turns per session and four symptom-specific sessions plus one mixed session, whereas the public prompt requests five examples averaging ten turns and does not encode that structure. Corpus quality prevents treating the release as a validated dataset. Bengali Elena-P2 contains a mixed Chinese-English phrase and a sleep response with Indonesian tidur followed by the Arabic/Urdu token خواب repeated 160 times; Maria-P9 includes _worker and النوم. These are not merely natural code-switches. More seriously, English Elena-P2 and Maria-P9 have SequenceMatcher similarity 0.99904: except for the initial name and punctuation in five headings, their conversations are identical, and every Elena dialogue turn speaks as Maria. Two profiles with hidden totals 35 and 40 thus receive effectively the same transcript, one mislabeled. Lower Bengali accuracy can reflect overt generator corruption, and English is not a clean baseline. The metrics also require care. Accuracy removes ties from its denominator. DeepSeek-R1-8B English has 55 correct decisions, one error, and ten ties: 55/56 yields the published 98.21%, but 55/66 is 83.33% when abstention counts toward total task performance. DeepSeek-v3.2 English has 60 correct, four wrong, and two ties, giving 93.75% without ties and 90.91% over all 66 pairs. The Llama3-8B accuracy and tie tables are arithmetically incompatible: 84.13% in English requires at least three ties and 65.38% in Hindi at least fourteen, already seventeen against the reported fourteen total before Bengali or Mandarin. Raw outputs are needed to resolve this. The so-called Same-Level Error Rate is not an error rate over pairs but the fraction of errors occurring within a category. DeepSeek-R1-8B's English 100% means its single non-tie error was within-level; it is not a stable estimate of calibration. The paper also labels BDI-II totals 12 and 13 as mild. Standard BDI-II ranges are 0-13 minimal, 14-19 mild, 20-28 moderate, and 29-63 severe, so P3 and P4 are mislabeled. Correcting them changes the number of within-category pairs from twelve to sixteen and alters the metric's classification. BDI-II measures self-reported symptom severity and is not diagnostic by itself; here the ground truth is a hidden prompt total, not an independent inventory administered from the dialogue. Reproducibility is partial. The repository releases 48 localized profiles and 48 chat files, the prompt, hidden totals, and two judge scripts, and all Python compiles. But the generator is hard-coded to P7 and Bengali only; other languages are commented and English is absent. It uses mutable gpt-4o-mini without a snapshot, seed, temperature, or request metadata. The API judge configures only deepseek-chat at temperature 1.3; the local script only deepseek-r1:8b and an invalid URL. There are no configurations for the other three judges, result JSONL/CSV files, aggregator, metric or table code, dependency specification, lockfile, tests, CI, license, or runnable instructions. The corpus can be inspected but the reported tables cannot be regenerated. The paper itself appropriately acknowledges no significance tests, no human validators, and no separation of generation from judging, and warns against diagnosis or deployment. That caution must remain. An opening sentence in the Ethics section about trauma, prolonged-exposure therapy, psychotherapists, and future license restrictions should not be treated as evidence: it is unrelated pasted material and conflicts with the unlicensed repository. The defensible contribution is not a clinically valid multilingual dataset or a general proof that localized personas fail. It is a valuable negative case study: shallow substitution does not guarantee equivalence, LLM-as-judge evaluation can amplify generator failures, and mental-health corpora require human linguistic QA, correct clinical categories, raw outputs, and abstention-aware metrics before cross-language comparisons are credible.