Simulating Eating Disorder Patients with LLMs: Evaluating Psychological Persona Stability in Multi-Turn Conversations

El preprint pregunta si los LLM pueden representar de forma estable y clínicamente fiel a personas con trastornos de la conducta alimentaria. Construye cinco personas a partir de casos clínicos publicados: bulimia nerviosa, un caso diagnosticado como bulimia pero renombrado AN-BP por su antecedente de anorexia, trastorno por atracón con síndrome de ingesta nocturna, trastorno por atracón y trastorno purgativo. Cada persona se expresa en tres niveles de detalle: Full conserva la historia clínica y biográfica salvo las puntuaciones; Core deja los mecanismos mantenedores de Fairburn; Minimal mantiene diagnóstico, demografía, IMC y frecuencias conductuales. Por tanto, la puntuación numérica no se filtra directamente, pero diagnóstico y síntomas sí condicionan la respuesta.

El experimento I cruza cinco casos, tres prompts y seis generadores: Claude Sonnet 4.6, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Flash, GPT OSS 120B y Llama 3.3 70B. Son 90 condiciones con objetivo de 50 ejecuciones independientes, aunque GPT OSS queda en 35-49 y Llama en 31-50 en algunas celdas por inestabilidad del API. Cada modelo narra tres situaciones relacionadas con comida y después completa EDE-Q, CIA y EAT-26 en su propio contexto. Tres jueces, Claude, GPT 5.4 y Gemini, reciben solo la conversación y contestan los mismos instrumentos imaginando ser esa persona. El experimento II excluye Llama y usa 20 conversaciones de nueve intercambios por cada una de 75 condiciones; repite la evaluación tras los intercambios 3, 6 y 9.

La señal principal sí está respaldada por las medias visibles. Los cinco valores EDE-Q de referencia abarcan 2,64-5,25, mientras las medias de caso de los seis modelos se comprimen aproximadamente en 4,93-5,48: queda solo el 21% del rango de referencia. El sesgo promedio por caso es casi nulo para la BN más grave (+0,05), pero aumenta a +1,18 en AN-BP, +1,75 en BED/NES, +1,46 en BED y +2,29 en PD. No es simplemente un desplazamiento constante: los modelos representan razonablemente el extremo grave y elevan mucho las presentaciones moderadas. Esta compresión es el fundamento cuantitativo más claro del «missing middle».

Entre conversaciones, cinco modelos muestran coeficientes de variación medios del 2-4% y GPT OSS 7,7%; el 30% de las celdas ítem-condición devuelve exactamente la misma puntuación en todas las repeticiones. Eso prueba repetibilidad bajo los defaults usados, no fidelidad psicológica. En diálogo, Claude, DeepSeek, GPT 5.4 y Gemini suben su EDE-Q global entre los intercambios 3 y 9 en +0,21, +0,08, +0,09 y +0,22; GPT OSS baja -0,09 sin significación. El drift es pequeño en unidades clínicas y se concentra sobre todo en Restraint, pero va en sentido contrario a una convergencia hacia la referencia.

La descomposición publicada atribuye 49,2% de la suma de cuadrados global al modelo, 14,3% al caso, 1,0% a riqueza del prompt y 35,5% al residual. Restraint diferencia casos, 46,6% atribuido al caso y rango de 1,98, mientras Shape Concern y Weight Concern permanecen cerca del techo y apenas varían entre casos. Los autores llaman «estereotipado selectivo» a este patrón: la conducta concreta responde al caso, pero la cognición sobre peso y forma se maximiza ante casi cualquier diagnóstico. El control de persona sana produce EDE-Q casi cero en cuatro modelos, lo que demuestra que pueden representar el extremo sano cuando se les ordena; no demuestra que sepan calibrar el centro clínico.

El llamado marco dual tiene una frontera importante. EDE-Q, CIA y EAT-26 son instrumentos de autoinforme; el estudio no usa una versión observacional validada. Los jueces reciben una meta-instrucción para imaginar ser el individuo y responder el mismo cuestionario. Que autoinforme y jueces den medias cercanas, 5,20 frente a 5,15, muestra coherencia entre transcript y lectura de perspectiva, pero no equivale a validación clínica independiente. Además, el acuerdo ICC es pobre-moderado y Gemini-juez puntúa 0,43 por encima de GPT 5.4-juez en promedio. La afirmación de que el problema se origina exclusivamente en generación es más fuerte que este diseño.

También hay una inconsistencia numérica no resoluble. Al recalcular bias, MAE y Spearman ρ con las cinco medias Full mostradas en la tabla 2, varias filas no coinciden. GPT OSS da aproximadamente +0,77, 0,90 y ρ=0,70, no +0,70, 0,91 y 0,00; Llama da ρ=0,90, no 0,60; DeepSeek y GPT 5.4 dan 0,30, no 0,60; Gemini da 0,80, no 0,60. El redondeo no explica estas diferencias de ranking. Puede que las filas agreguen condiciones no indicadas o usen datos distintos a las medias Full, pero no hay CSV ni código para comprobarlo. En cambio, promediar las cuatro subescalas sí reproduce los Global por caso, así que el conflicto está localizado en los resúmenes por modelo.

Los cinco «ground truths» tampoco son un patrón oro homogéneo. Son puntuaciones EDE-Q de autoinforme tomadas de cinco publicaciones de caso único con pacientes, contextos y momentos diferentes, no una medición objetiva común. El propio paper reconoce que son administraciones puntuales con variabilidad test-retest, aunque en otro pasaje las llama administraciones expertas. El caso AN-BP fue diagnosticado como BN en la fuente y renombrado por los autores debido a una anorexia previa. Sin humanos que lean y representen los mismos prompts, clínicos, actores o pacientes, no se puede separar un fallo específico del LLM de la dificultad general de reconstruir un autoinforme individual a partir de una viñeta.

La conclusión sobre riqueza del prompt también debe moderarse. Que el efecto principal Prompt explique 1% en un ANOVA de efectos principales no prueba equivalencia entre Full, Core y Minimal: faltan interacciones modelo×prompt y caso×prompt, hay tamaños desiguales por fallos del API y 35,5% queda residual. Del mismo modo, estabilidad a defaults de proveedor no implica estabilidad con otras temperaturas, tareas o versiones. Todas las viñetas proceden de mujeres y solo hay cinco; los controles cubren cuatro de seis modelos; no hay generalización poblacional, cultural, diagnóstica ni clínica.

La reproducibilidad es baja. El TeX publica diseño, figuras, tablas, casos, prompts y controles con bastante detalle, y excluye correctamente las puntuaciones de los prompts. Pero no hay repositorio, conversaciones, JSON de cuestionarios, resultados por ejecución, log de exclusiones, código estadístico, IDs exactos de endpoints, fechas de recolección, temperaturas explícitas, semillas, lockfile o entorno ejecutable. Los modelos alojados y sus defaults son mutables. La lectura fiel es que el trabajo documenta una compresión grave y repetible de la severidad en cinco personas artificiales y un pequeño drift ascendente en cuatro modelos; no valida pacientes sintéticos, no demuestra fidelidad clínica y deja sin resolver una contradicción en sus métricas derivadas.

The preprint asks whether LLMs can represent eating-disorder patients stably and with clinical fidelity. It builds five personas from published case reports: bulimia nervosa, a case diagnosed as bulimia but relabelled AN-BP because of prior anorexia, binge-eating disorder with night-eating syndrome, binge-eating disorder, and purging disorder. Each persona is expressed at three detail levels: Full retains clinical and biographical history except assessment scores; Core keeps Fairburn maintaining mechanisms; Minimal retains diagnosis, demographics, BMI, and behavioral frequencies. Numeric scores are therefore withheld, but diagnosis and symptoms still condition the response.

Experiment I crosses five cases, three prompts, and six generators: Claude Sonnet 4.6, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Flash, GPT OSS 120B, and Llama 3.3 70B. The 90 conditions target 50 independent runs, although GPT OSS has 35-49 and Llama 31-50 in some cells because of API instability. Each model narrates three food-related situations and then completes EDE-Q, CIA, and EAT-26 in its own context. Three judges, Claude, GPT 5.4, and Gemini, receive only the conversation and complete the same instruments while imagining they are the individual. Experiment II excludes Llama and uses 20 nine-exchange conversations for each of 75 conditions, with assessment after exchanges 3, 6, and 9.

The main descriptive signal is supported by the visible means. The five reference EDE-Q values span 2.64-5.25, whereas the six-model case means compress to roughly 4.93-5.48, retaining only 21% of the reference range. Average case bias is almost zero for the most severe BN case (+0.05) but rises to +1.18 for AN-BP, +1.75 for BED/NES, +1.46 for BED, and +2.29 for PD. This is not a constant offset: the models approximately reproduce the severe endpoint while substantially inflating moderate presentations. That compression is the clearest quantitative basis for the paper's missing-middle description.

Across conversations, five models have mean coefficients of variation of 2-4%, while GPT OSS has 7.7%; 30% of item-condition cells return exactly the same score in every repetition. This establishes repeatability under the evaluated defaults, not psychological fidelity. In dialogue, Claude, DeepSeek, GPT 5.4, and Gemini increase global EDE-Q from exchange 3 to 9 by +0.21, +0.08, +0.09, and +0.22; GPT OSS declines by -0.09 non-significantly. Drift is small in clinical scale units and is concentrated most strongly in Restraint, but it moves away from rather than toward the reference.

The reported decomposition assigns 49.2% of global sum of squares to model, 14.3% to case, 1.0% to prompt richness, and 35.5% to residual variation. Restraint differentiates cases, 46.6% assigned to case and a 1.98-point range, while Shape Concern and Weight Concern remain near ceiling with little case variation. The authors call this selective stereotyping: concrete behavior responds to the case, but weight- and shape-related cognition is maximized for nearly any diagnosis. A healthy-persona control yields near-zero EDE-Q in four models, showing that they can represent the healthy endpoint when explicitly instructed; it does not show that they can calibrate the clinical middle.

The dual framework has an important boundary. EDE-Q, CIA, and EAT-26 are self-report instruments; the study uses no validated observer version. Judges receive a meta-instruction to imagine being the individual and answer the same questionnaire. Similar generator and judge means, 5.20 versus 5.15, show consistency between transcript and perspective-taking interpretation, but are not independent clinical validation. ICC agreement is poor to moderate, and Gemini-as-judge scores 0.43 above GPT 5.4-as-judge on average. The claim that the problem originates exclusively during generation is stronger than this design supports.

There is also an unresolved numerical inconsistency. Recomputing bias, MAE, and Spearman rho from the five displayed Full means in Table 2 does not reproduce several summary cells. GPT OSS yields approximately +0.77, 0.90, and rho=0.70, not +0.70, 0.91, and 0.00; Llama yields rho=0.90 rather than 0.60; DeepSeek and GPT 5.4 yield 0.30 rather than 0.60; Gemini yields 0.80 rather than 0.60. Rounding cannot explain the rank differences. The rows may pool undisclosed conditions or use data other than the displayed Full means, but no CSV or code is available to determine which. In contrast, averaging the four displayed subscales reproduces the case Global values, localizing the conflict to model summary rows.

The five ground truths are not a homogeneous gold standard either. They are EDE-Q self-report scores from five different single-case publications, patients, contexts, and measurement moments, not a shared objective measurement. The paper acknowledges that they are single administrations with test-retest variation, although elsewhere it calls them expert administrations. The AN-BP source case was diagnosed as BN and relabelled by the study because of prior anorexia. Without humans asked to interpret and role-play the same prompts, clinicians, actors, or patients, the experiment cannot separate LLM-specific overshoot from the general difficulty of reconstructing an individual's self-report from a vignette.

The prompt-richness conclusion also requires restraint. A 1% main-effect share in a main-effects ANOVA does not establish equivalence of Full, Core, and Minimal: model-by-prompt and case-by-prompt interactions are omitted, cell sizes vary after API failures, and 35.5% remains residual. Likewise, stability at provider defaults does not imply stability at other temperatures, tasks, or versions. All source cases are women and there are only five; controls cover four of six models; population, cultural, diagnostic, and clinical generalization is unavailable.

Reproducibility is low. The TeX package publishes design, figures, tables, cases, prompts, and controls in useful detail, and correctly withholds assessment scores from persona prompts. But there is no repository, conversation data, questionnaire JSON, run-level results, exclusion log, statistical code, exact endpoint IDs, collection dates, explicit temperatures, seeds, lockfile, or executable environment. Hosted models and provider defaults are mutable. A faithful reading is that the study documents severe, repeatable severity compression in five artificial personas and small upward drift in four models; it does not validate synthetic patients, establish clinical fidelity, or resolve the contradiction in its derived metrics.