LLM-Based Educational Simulation: Evaluating Temporal Student Persona Stability Across ADHD Profiles

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Jana Gonnermann-Müller, Jennifer Haase, Nicolas Leins, Thomas Kosch, Sebastian Pokutta

Palabras clave: Student persona stability, ADHD-like persona prompting, Educational simulation, Within-conversation drift, Between-run repeatability, Scripted interaction, Self-report observer dissociation, CAARS-derived assessment, Control contamination, Prompt demand characteristics, Reproducibility audit

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
8
Hallazgos
25
Limitaciones
3
Evidencias

Resumen editorial

Español

El preprint estudia si cinco LLM mantienen perfiles estudiantiles con rasgos de ADHD entre ejecuciones y durante conversaciones de nueve turnos. En 4.968 narrativas independientes y 3.952 diálogos, los autoinformes permanecen casi constantes, mientras las valoraciones de tres LLM observadores bajan en conversaciones no guionizadas para perfiles altos y moderados. Con preguntas guionizadas y relevantes para los síntomas, sus medias quedan casi planas; el «97%» es sólo la reducción descriptiva de 4,0 a 0,1 puntos en el perfil alto de educación. Esto no demuestra que la deriva desaparezca: el modelo inferencial agrupa perfiles, omite interacciones y excluye el control default, que bajo guion sube 2,49 puntos. Además, el control no está limpio: aun sin descripción de persona, la tarea ordena mostrar cómo influye el ADHD, y el guion recuerda responder conforme a «tus síntomas». La estabilidad puede reflejar seguimiento de instrucciones, límites de escala y solapamiento con CAARS, no una personalidad interna ni realismo clínico. No hay participantes con ADHD, validación educativa, datos ni código públicos para recalcular los resultados.

English

The preprint studies whether five LLMs maintain student profiles with ADHD-like characteristics across runs and over nine-turn conversations. Across 4,968 independent narratives and 3,952 dialogues, self-reports remain nearly constant, whereas ratings from three LLM observers decline in unscripted conversations for high and moderate profiles. With scripted, symptom-relevant questions, their means are nearly flat; the “97%” is only the descriptive reduction from 4.0 to 0.1 points for the high education profile. This does not prove drift disappeared: the inferential model pools profiles, omits interactions and excludes the default control, whose scripted score rises by 2.49 points. The control is also contaminated: even without a persona description, the task tells the model to show how ADHD influences the day, and the script reminds it to answer consistently with “your ADHD symptoms.” Stability can reflect instruction following, scale boundaries and overlap with CAARS content rather than an internal persona or clinical realism. There are no participants with ADHD, educational validation, public data or code for recalculating the results.

Pregunta de investigación

¿Con qué estabilidad reproducen distintos LLM perfiles con intensidad alta, moderada, baja o default de rasgos tipo ADHD entre conversaciones independientes y a lo largo de diálogos, y cambia esa estabilidad al estructurar las preguntas del interlocutor?

Método

El experimento I genera narrativas de escuela o trabajo y un autoinforme por ejecución; tres LLM puntúan cada narrativa. El experimento II enfrenta al agente-persona con un interlocutor no guionizado o con tres situaciones estandarizadas, y repite autoinforme y observación en los turnos 3, 6 y 9. Usa tres formatos de prompt, cinco familias propietarias y provider defaults. La estabilidad entre ejecuciones se resume mediante SD; la deriva intra-conversación mediante modelos lineales mixtos separados por escenario, estructura y fuente. Esta revisión inspeccionó las 28 páginas, prompts e ítems completos, tablas de missingness y modelos, TeX v1/v2, aritmética de efectos y disponibilidad de artefactos.

Muestra: Se informan 4.968 de 5.000 ejecuciones del experimento I, 14.904 observaciones LLM y 4.968 autoinformes; y 3.952 de 4.000 conversaciones del experimento II, 35.430 observaciones LLM y 11.796 autoinformes. Hay 50 repeticiones por celda no-default en el experimento I y 20 en el II. La pérdida global es 0,64% y 1,20%, pero se concentra: Grok default pierde 27 de 80 conversaciones del experimento II (33,75%). Cinco psicólogos MSc puntúan sólo 20 narrativas; no hay estudiantes ni personas diagnosticadas con ADHD.

Hallazgos

  • En educación, el experimento I informa autoinforme M/SD 30,2/1,79 para alta, 18,0/5,04 moderada, 2,08/3,35 baja y 27,3/1,64 default.
  • Las medias/SD del observador en esas condiciones son 21,1/2,57, 16,6/4,78, 1,71/5,07 y 20,1/3,01.
  • En conversación no guionizada de educación, el observador cambia -4,0 puntos en alta y -2,86 en moderada entre turnos 3 y 9; el efecto agrupado de turno es -1,13, SE 0,05, p<.001.
  • Bajo guion, alta y moderada cambian -0,1 puntos; el efecto agrupado es -0,02, SE 0,05, p=.722, pero default aumenta 2,49 puntos.
  • El 97% procede de 1-|0,1|/|4,0|=97,5%, redondeado, en una sola comparación descriptiva sin intervalo de confianza.
  • El autoinforme no guionizado no muestra tendencia detectable, beta=0,03, p=.366; el guionizado sí tiene una tendencia positiva pequeña, beta=0,14, p=.001.
  • La comparación humana de 20 textos reporta ICC humano .92, LLM .87 y humano-LLM .95, pero el último IC es amplio [.57,.99].
  • Los resultados apoyan que preguntas repetidas y relevantes para síntomas sostienen puntuaciones observables, no que una persona psicológica se mantenga intacta.

Limitaciones

  • El default no es un control sin ADHD: la tarea del experimento I pide explícitamente mostrar cómo el ADHD influye en el día.
  • En la condición guionizada se añade responder de acuerdo con «tus síntomas de ADHD», incluso junto a la fila default.
  • Las preguntas guionizadas son pruebas directas de atención, trabajo en grupo y organización; estructura y reinducción de síntomas están confundidas.
  • El mismo modelo recibe la descripción de síntomas y después responde ítems semánticamente solapados; el autoinforme estable puede ser memoria del prompt.
  • Baja SD entre muestras independientes mide repetibilidad del prompt, no estabilidad test-retest de una identidad persistente.
  • Los extremos quedan cerca de suelo y techo, con menos varianza posible que el nivel moderado; no se modelan límites ni heterocedasticidad.
  • No hay objetivo humano o diagnóstico contra el que medir fidelidad; estabilidad y validez no son equivalentes.
  • CAARS es adulto, mientras la persona estudiantil no tiene edad y las implicaciones incluyen alumnado escolar.
  • El appendix administra 26 ítems self y 30 observer, pero no documenta qué 12/10 forman los índices ni aporta scoring code.
  • La comparación con SD humana usa ASRS, otra escala y 43 personas heterogéneas; no estima de forma comparable error de medida.
  • El modelo mixto de turno no tiene interacciones con persona, modelo o prompt, por lo que un promedio nulo puede ocultar trayectorias opuestas.
  • Los modelos inferenciales excluyen default, pese a que su observación guionizada aumenta 2,49 puntos.
  • p=.722 no prueba equivalencia ni cero deriva; no se fijan márgenes de equivalencia.
  • No hay contraste directo con incertidumbre para scripted vs unscripted ni para la reducción del 97%.
  • La corrección Bonferroni sólo se describe para pares de turnos, no para la familia completa de modelos y análisis exploratorios.
  • La pérdida de Grok default en experimento II es 33,75% y puede no ser aleatoria.
  • Los recuentos de observaciones y autoinformes por checkpoint no se reconcilian ni se explica el tratamiento de missingness parcial.
  • DeepSeek y Gemini cambian de versión entre pretest y full; trabajo y educación no usan exactamente el mismo conjunto.
  • Provider defaults, aliases y APIs son mutables; faltan seeds, parámetros, revisiones y respuestas crudas.
  • El texto llama al evaluador Claude Opus 4.5, pero una tabla de resultados lo etiqueta Claude Sonnet 4.5.
  • La extensión del prompt de trabajo habla de escuela y schoolday; sin código no puede saberse si es errata o ejecución real.
  • Cinco psicólogos valoran sólo 20 textos; no se publica muestreo, protocolo, anotaciones ni resolución de discrepancias.
  • No se informa revisión ética, consentimiento o compensación de los evaluadores humanos.
  • No participan personas con ADHD en el diseño; no se evalúan estigma, estereotipos ni daño representacional.
  • No hay datos, código, outputs, entorno, preregistro o artefacto oficial que permita recalcular las cifras.

Qué no demuestra

  • Que los LLM mantengan una personalidad interna o representación psicológica estable.
  • Que los perfiles sean clínicamente realistas o representen a personas diagnosticadas con ADHD.
  • Que la deriva se elimine por completo en cada persona, modelo, prompt o escenario.
  • Que el guion sea causal por su estructura y no por recordar y elicitar repetidamente síntomas.
  • Que exista un sesgo inherente del estudiante default hacia ADHD; el control contiene instrucciones explícitas del constructo.
  • Que una respuesta estable a cuestionarios prediga conducta estable o válida.
  • Que el nivel moderado sea arquitectónicamente inestable o refleje un vacío del training data.
  • Que el 97% generalice más allá del perfil alto de educación y esa diferencia descriptiva.
  • Que p>.05 demuestre ausencia o equivalencia práctica.
  • Que la comparación de 20 narrativas aporte validez ecológica para aulas, tutoría o intervención.
  • Que docentes o estudiantes se beneficien de estas simulaciones.
  • Que las cifras se puedan reproducir desde un entorno limpio.
  • Aceptación revisada por pares.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.06307v2; 28-page PDF and complete v1-v2 TeX comparison; no official code or data artifact found

Fuente consultada: https://arxiv.org/abs/2605.06307v2

Revisión: Codex 28-page visual full-text, v1-v2 TeX, prompt/control, construct, measurement, statistics, missingness, ethics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Claude Opus 4.5 as persona model; manuscript conflict with Claude Sonnet 4.5 in evaluator table
  • DeepSeek v3.2 Thinking in pretest and v4 Flash in full collection
  • GPT 5.1
  • Gemini 3 Pro in pretest and 3.1 Pro in full collection
  • Grok 4.1 Fast
  • Three LLM observers from Anthropic, OpenAI and Google

Instrumentos y métricas

  • CAARS-derived self-report prompt with 26 administered items
  • CAARS-derived observer prompt with 30 administered items
  • Reported 12-item self ADHD Index, range 0-36
  • Reported observer ADHD Index, range 0-30, with scored subset undocumented
  • ICC(2,1) inter-rater reliability
  • Within-condition standard deviation
  • Linear mixed-effects models with conversation random intercept
  • Scripted and unscripted conversation prompts

Datos utilizados

  • Experiment I generated narratives and ratings; not publicly released
  • Experiment II generated conversations and checkpoint ratings; not publicly released
  • Twenty-narrative human rater validation sample; not publicly released

Evidencia y localización

  • Texto, figuras, prompts, cuestionarios, muestras, descriptivos y modelos: arXiv:2605.06307v2; PDF sha256 a6ca396b472a3b7a9facab1728a3386b92747293d60ced346b44b6b0fbb121b4; TeX sha256 6b8e27df2938ab2c4c602045815d51020bebf470cc58b04600887144788683b4
  • Estabilidad de los resultados centrales entre versiones: arXiv source v1 sha256 799ce389ae42ef02138e78b5a0c6029f8d6172f78fcf83d5f338ca154075008e; v2 sha256 dbb38603357b05b7957ebcbb3316a7e8001e4dd573d09321efd086da967937fb
  • Control contaminado, cálculo del 97%, modelo agrupado, missingness, medida y reproducibilidad: reports/verification/article-347-adhd-student-persona-stability-control-contamination-measurement-statistics-and-reproducibility-audit.json