The plasticity of ChatGPT’s mentalizing abilities: personalization for personality structures

Personas, identidad y agentes2023PubMed CentralRevisión editorial aprobada

Título original: The Plasticity of ChatGPT's Mentalizing Abilities: Personalization for Personality Structures

Autores: Dorit Hadar-Shoval, Zohar Elyoseph, Maya Lvovsky

Palabras clave: artificial intelligence, borderline personality disorder, emotional intelligence, empathy, emotional awareness, Schizoid Personality Disorder, mentalizing

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
18
Hallazgos
33
Limitaciones
18
Evidencias

Resumen editorial

Español

Este informe breve estudia si la versión gratuita 23.3 de ChatGPT genera descripciones emocionales diferentes cuando una misma situación se atribuye a una persona con trastorno límite de la personalidad (TLP) o trastorno esquizoide de la personalidad (TEP). Los días 19 y 20 de abril de 2023, los autores presentaron una vez cada uno de los 20 escenarios de la Levels of Emotional Awareness Scale (LEAS) bajo cada etiqueta diagnóstica, siempre en una pestaña nueva. Sustituyeron el «tú» de la escala humana por «persona con TLP» o «persona con TEP» y pidieron describir qué sentirían tanto el personaje principal como otra persona del escenario. Después solicitaron al propio ChatGPT que asignara intensidad de 0 a 10 a cada emoción que acababa de producir. Las respuestas se puntuaron con el manual LEAS, de 0 a 4 por escenario y 0–80 en total, y con dos índices añadidos: número de emociones e intensidad autoasignada. El personaje con TLP obtuvo el máximo LEAS, 80, frente a 47 para el personaje con TEP; también recibió más emociones y mayor intensidad. En los escenarios TLP, el personaje principal superó al otro personaje sin diagnóstico, 80 frente a 66. En los escenarios TEP, el personaje principal no difirió del otro personaje en LEAS o intensidad, aunque sí en número de emociones. El otro personaje obtuvo además un LEAS diferente según conviviera en el escenario con la etiqueta TLP o TEP. Estos resultados muestran que el texto de una única instantánea de ChatGPT cambia fuertemente ante dos etiquetas diagnósticas y reproduce el contraste esperado por el DSM entre turbulencia emocional y desapego. No muestran mentalización de una persona real: no hay pacientes, clínicos, conducta, diálogo terapéutico ni medida independiente del estado mental. El diseño tampoco separa conocimiento clínico de estereotipo, precisamente el riesgo que el propio artículo discute. La LEAS se modifica para evaluar narración en tercera persona, no se valida para LLM, no se repiten generaciones y la intensidad la puntúa el mismo modelo que genera las emociones. Por ello, la evidencia respalda sensibilidad del output al prompt diagnóstico, no una capacidad mentalizante ni utilidad diagnóstica o terapéutica.

English

This brief report tests whether the free 23.3 version of ChatGPT produces different emotional descriptions when the same situation is assigned to a person with Borderline Personality Disorder (BPD) or Schizoid Personality Disorder (SPD). On 19–20 April 2023, the authors presented each of the 20 Levels of Emotional Awareness Scale (LEAS) scenarios once under each diagnostic label, always in a new tab. They replaced the human scale’s “you” with “person with BPD” or “person with SPD” and asked what both the main character and another person in the scenario would feel. They then asked ChatGPT itself to assign a 0–10 intensity to every emotion it had just produced. Responses were scored with the LEAS manual, from 0 to 4 per scenario and 0–80 overall, and with two added indices: number of emotions and self-assigned intensity. The BPD main character achieved the maximum LEAS score, 80, versus 47 for the SPD character, and was also given more emotions and greater intensity. In BPD scenarios, the main character exceeded the undiagnosed other character, 80 versus 66. In SPD scenarios, the main and other characters did not differ on LEAS or intensity, although they differed in emotion count. The other character also received a different LEAS score depending on whether the scenario contained a BPD or SPD label. These findings show that one ChatGPT snapshot’s text changes strongly in response to two diagnostic labels and reproduces the DSM-framed contrast between emotional turbulence and detachment. They do not show mentalizing of a real person: there are no patients, clinicians, behaviour, therapeutic dialogue, or independent measure of mental state. The design also cannot separate clinical knowledge from stereotype, precisely the risk discussed by the paper. LEAS is modified to score third-person narration rather than validated for LLMs, generations are not repeated, and emotion intensity is scored by the same model that generated the emotions. The evidence therefore supports diagnostic-label sensitivity in model output, not a mentalizing capacity or diagnostic/therapeutic utility.

Pregunta de investigación

¿Puede ChatGPT generar descripciones semejantes a conciencia emocional que diferencien la experiencia atribuida a personajes con TLP y TEP, de acuerdo con el contraste clínico y teórico esperado?

Método

Experimento de prompting sobre la versión gratuita 23.3 de ChatGPT durante dos días. Los 20 escenarios abiertos de LEAS se presentan una vez con la instrucción modificada para un personaje con TLP y una vez para un personaje con TEP, cada transferencia en una pestaña nueva. El modelo describe emociones del personaje principal y de otro personaje y después autoasigna intensidad 0–10 a cada emoción. Se calculan LEAS 0–4 por escenario, número de emociones e intensidad para ambos personajes. Se comparan las 20 situaciones con t-tests y t-tests pareados en SPSS 28. No hay participantes humanos ni repetición de las generaciones.

Muestra: No hubo participantes humanos ni muestra clínica. La unidad observada fueron 20 escenarios LEAS, cada uno consultado una sola vez bajo TLP y una sola vez bajo TEP en ChatGPT 23.3, lo que produce 40 respuestas iniciales más sus preguntas de seguimiento. Los personajes secundarios de los mismos textos sirven como comparación sin etiqueta diagnóstica.

Hallazgos

  • El total LEAS del personaje principal con TLP fue 80 de 80, frente a 47 para el personaje con TEP.
  • La comparación TLP–TEP del personaje principal se informa como t(2,19)=5,82, p<0,001, una notación de grados de libertad no convencional para un t-test.
  • El personaje con TLP recibió también más emociones que el personaje con TEP, t(2,38)=7,3, p<0,001.
  • La intensidad autoasignada fue mayor para TLP que para TEP, informada como t(2,25,74)=5,82, p<0,05.
  • En la condición TLP, el personaje principal obtuvo LEAS 80 y el otro personaje 66, t(18)=4,23, p<0,001.
  • En la condición TLP, el personaje principal tuvo más emociones, t(19)=11,13, p<0,001, y mayor intensidad, t(19)=5,82, p<0,001, que el otro personaje.
  • En la condición TEP no hubo diferencia significativa entre personaje principal y otro personaje en LEAS ni intensidad, p>0,05.
  • En la condición TEP, el personaje principal sí recibió un mayor número de emociones que el otro personaje, t(19)=3,4, p<0,01.
  • El otro personaje tuvo mayor LEAS cuando compartía escenario con el personaje TLP que cuando lo hacía con el personaje TEP, t(2,38)=2,62, p<0,05.
  • No hubo diferencias significativas entre esos dos personajes secundarios en número o intensidad de emociones.
  • Los cinco ejemplos publicados muestran una plantilla reiterada: el TLP se asocia a ansiedad, miedo, ira, vergüenza, catastrofismo y dificultad regulatoria; el TEP, a indiferencia, desapego y foco práctico.
  • La puntuación perfecta de TLP produce un efecto techo en LEAS y elimina variabilidad superior para esa condición.
  • La respuesta del personaje secundario cambia aunque no reciba diagnóstico, lo que sugiere que la etiqueta altera toda la narración del escenario, no solo la caracterización del protagonista.
  • Los autores interpretan el patrón como coherente con DSM/ICD y parte de la literatura clínica sobre TLP y TEP.
  • El propio artículo contrapone esa interpretación con una lectura psicodinámica según la cual el aparente desapego esquizoide puede ocultar una vida emocional intensa.
  • La discusión reconoce que el modelo puede estar reproduciendo estigma y pensamiento estereotipado al hacer que el diagnóstico determine toda la experiencia emocional.
  • El artículo pide participación sustantiva de profesionales y personas con discapacidad mental y advierte sobre ética de datos, autonomía, transparencia y desigualdades.
  • Las ventajas diagnósticas o terapéuticas se formulan en la discusión como posibilidades, no se evalúan en el experimento.

Limitaciones

  • Solo se evalúa una versión gratuita de ChatGPT durante dos días y no se proporciona un identificador técnico inmutable del modelo o del sistema.
  • Cada escenario se genera una sola vez por condición; no hay réplicas, semillas, estimación de variabilidad entre ejecuciones ni prueba de estabilidad temporal.
  • El estudio trata 20 escenarios fijos como observaciones, pero no modela simultáneamente variación por escenario y por generación del modelo.
  • No se informa aleatorización o contrabalanceo del orden TLP/TEP; el texto denomina TLP primera condición y TEP segunda.
  • El trabajo se ejecuta en dos fechas distintas, de modo que orden y día pueden confundirse con condición si no se alternaron.
  • Abrir una pestaña nueva reduce memoria conversacional, pero no documenta system prompt, configuración del servicio, cookies, idioma de interfaz ni otros componentes del contexto.
  • La etiqueta diagnóstica está incluida explícitamente en el prompt y por sí sola puede activar descripciones prototípicas aprendidas; no existe condición neutral, etiqueta ficticia o reformulación ciega.
  • No se prueba el modelo con descripciones de síntomas sin nombre diagnóstico, por lo que no se separa reconocimiento clínico de recuperación del estereotipo asociado a las palabras TLP/TEP.
  • La LEAS fue creada para que personas describan emociones propias y ajenas; sustituir ‘tú’ por un personaje diagnóstico cambia el constructo y no está validado psicométricamente.
  • LEAS mide aquí riqueza del texto generado, no conciencia de un estado mental real, acceso introspectivo o comprensión interpersonal verificada.
  • No se identifica quién puntuó LEAS, cuántos evaluadores hubo, si estaban cegados a la condición, su formación, acuerdo interjueces o resolución de discrepancias.
  • El número de emociones añadido no tiene procedimiento de conteo, reglas de sinónimos, validez o fiabilidad descritos.
  • La intensidad es declarada por el propio ChatGPT en una segunda respuesta; es una autoevaluación circular y no una medida externa.
  • No se publican medias, desviaciones, errores estándar o datos por escenario para número de emociones e intensidad, solo estadísticas de contraste.
  • La puntuación TLP alcanza 80/80, creando un techo que puede exagerar la separación y limita cualquier análisis de matices dentro de esa condición.
  • El artículo realiza varias comparaciones de tres resultados y varios pares sin corrección por multiplicidad ni plan confirmatorio registrado.
  • No se reportan tamaños de efecto, intervalos de confianza, supuestos de normalidad, tratamiento de dependencias o justificación del t-test con n=20.
  • La notación t(2,19), t(2,38) y t(2,25,74) es ambigua y no corresponde al formato habitual de un estadístico t con un solo grado de libertad.
  • El mismo valor t=5,82 aparece en comparaciones diferentes y con umbrales p distintos; sin datos o sintaxis SPSS no puede comprobarse si es correcto.
  • La Figura 1 etiqueta en su pie al personaje con TEP como ‘(BPD)’, un error editorial que aumenta la ambigüedad.
  • Solo se comparan dos diagnósticos elegidos como extremos, por lo que no se demuestra discriminación entre condiciones cercanas o presentaciones heterogéneas.
  • No se incluyen personas con TLP o TEP, profesionales clínicos, evaluadores con experiencia vivida ni comparación con respuestas humanas.
  • No se evalúan diagnóstico, sensibilidad, especificidad, consecuencias de error, alianza terapéutica, resultados de tratamiento o seguridad.
  • No se comparan otros LLM, versiones de ChatGPT, prompts, temperaturas, idiomas o marcos clínicos en condiciones experimentales.
  • La descripción de TEP adoptada desde DSM/ICD es discutida por otros enfoques que el propio paper cita; la conclusión depende del marco elegido como verdad de referencia.
  • Los escenarios incluyen situaciones potencialmente sensibles, pero no se analiza contenido dañino, invalidante o estigmatizante a nivel de cada respuesta.
  • El modelo atribuye al personaje secundario emociones diferentes según la etiqueta del protagonista, mostrando contaminación contextual no controlada.
  • La declaración de disponibilidad dice que las contribuciones están en el artículo/suplemento, pero solo se reproducen cinco respuestas y el manifiesto editorial no contiene suplemento alguno.
  • No se publican las 40 respuestas completas, ratings de intensidad, hojas de puntuación, sintaxis SPSS, prompts por escenario ni código.
  • Aunque se informa aprobación IRB 2023-40 YVC EMEK, el artículo no explica por qué un estudio sin participantes humanos la requería ni qué materiales cubrió.
  • No se informa financiación y la ausencia de conflicto comercial no cubre posibles sesgos de selección teórica o de interpretación.
  • Las afirmaciones de que ChatGPT puede servir como herramienta diagnóstica o de apoyo exceden el diseño, que solo compara narraciones hipotéticas.
  • La generalización a intervenciones de salud mental se discute sin probar conversaciones multivuelta, crisis, privacidad, consentimiento, supervisión o integración clínica.

Qué no demuestra

  • No demuestra que ChatGPT mentalice, comprenda o tenga conciencia emocional; demuestra que produce texto diferente ante etiquetas diferentes.
  • No demuestra que el modelo reconozca TLP o TEP a partir de conducta o lenguaje sin que se le proporcione el diagnóstico.
  • No valida un diagnóstico de TLP, TEP ni ningún trastorno de personalidad.
  • No demuestra que las descripciones correspondan a la experiencia real y diversa de personas con esos diagnósticos.
  • No separa conocimiento clínico de estereotipo, estigma o asociación léxica aprendida.
  • No demuestra una personalidad interna, estructura de personalidad o psicopatología en ChatGPT.
  • No valida LEAS para evaluar LLM ni hace comparables sus scores con los de personas.
  • No prueba que una puntuación LEAS más alta signifique mejor apoyo, empatía, precisión o seguridad clínica.
  • No demuestra estabilidad del patrón entre ejecuciones, modelos, fechas, prompts, idiomas o proveedores.
  • No demuestra que ChatGPT pueda discriminar trastornos cercanos, comorbilidad, severidad o cambios longitudinales.
  • No demuestra eficacia terapéutica, mejora de síntomas, alianza, adherencia o satisfacción.
  • No demuestra utilidad diagnóstica, porque no hay pacientes, etiquetas desconocidas ni evaluación de errores.
  • No demuestra que el modelo sea objetivo: la etiqueta del protagonista modifica también al personaje secundario.
  • No demuestra ausencia de daño, discriminación, estigma, invalidación emocional o sobreconfianza.
  • No prueba que la intensidad autoasignada represente intensidad psicológica y no consistencia narrativa del propio modelo.
  • No permite reproducir las estadísticas completas con los materiales públicos descritos.
  • No establece superioridad sobre humanos, clínicos u otros LLM.
  • No justifica usar estas salidas en decisiones clínicas o en intervenciones sin validación y supervisión independientes.

Trazabilidad

Alcance: Texto completo

Versión: Frontiers in Psychiatry 14:1234397, publisher PDF; PMC10503434.1

Fuente consultada: https://pmc-oa-opendata.s3.amazonaws.com/PMC10503434.1/PMC10503434.1.pdf

Revisión: Codex full-text, bilingual-fidelity, visual, metadata, clinical-claim, LEAS-construct, prompt-design, statistical-unit, reproducibility, stigma, mentalization-definition, ethics and evidence-level audit, 2026-07-15

Aprobación: Codex fidelity pass, 2026-07-15

Modelos evaluados

  • ChatGPT free version 23.3, described by the paper as based on GPT-3.5
  • BPD-labelled prompt condition
  • SPD-labelled prompt condition

Instrumentos y métricas

  • Levels of Emotional Awareness Scale, 20 open-ended scenarios
  • Modified third-person LEAS instruction for BPD and SPD characters
  • Standard LEAS manual scoring, 0–4 per scenario and 0–80 total
  • Model-generated emotion count per scenario
  • ChatGPT self-rating of emotion intensity from 0 to 10
  • Independent and paired t-tests
  • IBM SPSS Statistics version 28

Datos utilizados

  • Forty initial ChatGPT responses: 20 LEAS scenarios under two diagnostic labels
  • Follow-up intensity ratings generated by ChatGPT for its own emotions
  • Five of the twenty scenario/response pairs reproduced in Table 1
  • No complete public response corpus, scoring sheet, SPSS file or code repository reported

Evidencia y localización

  • Identidad bibliográfica, fecha, DOI y abstract completo: Publisher PDF p. 1, title page and abstract; DOI 10.3389/fpsyt.2023.1234397
  • Definición de mentalización, hipótesis y elección TLP/TEP: PDF pp. 1–2, Introduction
  • Versión ChatGPT, fechas e IRB: PDF p. 2, section 2.1
  • Veinte escenarios, sustitución del ‘tú’, pestañas y follow-up de intensidad: PDF p. 3, section 2.2
  • Scoring LEAS e índices añadidos: PDF p. 3, section 2.3
  • Pruebas estadísticas y SPSS: PDF p. 3, section 2.4
  • TLP 80 frente a TEP 47 y comparaciones de emoción/intensidad: PDF p. 3, section 3.1
  • Personaje principal frente a secundario: PDF p. 3, sections 3.2–3.3
  • Cinco ejemplos completos de prompts y respuestas: PDF p. 4, Table 1
  • Patrón gráfico, efecto techo y error de etiqueta del pie: PDF p. 5, Figure 1
  • Interpretación crítica como estigma o estereotipo: PDF pp. 4–5, Discussion, critical psychology approach
  • Interpretación clínica y desacuerdo psicodinámico sobre TEP: PDF p. 5, Discussion, applied clinical and psychoanalytic perspectives
  • Riesgos de ética, autonomía, transparencia y desigualdad: PDF pp. 5–6, Discussion
  • Limitaciones reconocidas por los autores: PDF p. 6, paragraph beginning ‘Despite this study’s promising results’
  • Conclusión y alcance de las afirmaciones: PDF p. 6, section 5
  • Disponibilidad de datos y ausencia de conflicto: PDF p. 6, Data availability statement and Conflict of interest
  • Ausencia de suplemento en la adquisición editorial: Source manifest PMC10503434.1, supplements=[]; checked 15 Jul 2026
  • Inspección visual: All 7 PDF pages rendered and visually inspected, including Table 1 and Figure 1; checked 15 Jul 2026