Large Language Models as Simulative Agents for Neurodivergent Adult Psychometric Profiles

The preprint asks whether two LLMs can predict the answers a specific person gave to four neurodivergence-related questionnaires from a written interview. This review uses arXiv:2601.15319v1, the only version available as of 15 July 2026: 27 pages including tables and a bilingual supplementary interview protocol. No peer-reviewed publication, code repository, or open dataset was found.

The sample contains 26 Italian adults aged 21–36, 19 women and seven men, voluntarily recruited through university networks and social media in May 2025. Each person completed a 29-question written interview and four self-report instruments: the 18-item ASRS v1.1 for ADHD symptoms; the 27-item BAARS-IV for inattention, hyperactivity, impulsivity, and Sluggish Cognitive Tempo; the 50-item AQ for autistic traits; and the 80-item RAADS-R with childhood-versus-current distinctions. Age, biological sex, education, nationality, and self-reported neurodevelopmental diagnosis were also collected, but diagnostic composition is not reported.

The interview is not a validated diagnostic interview. It was created for this study through a phenotypic review, etiological differentiation, 29-question drafting, and qualitative review by two specialists, one in ADHD/CDS and one in adult autism. Questions avoid verbatim test items but are explicitly designed around inattention, impulsivity, organization, social communication, restricted interests, sensory sensitivity, cognitive slowing, daydreaming, and initiation. Construct overlap is therefore substantial: the task largely tests translation from narrative symptom descriptions into items from the same domains, not inference of an independently observed latent state.

The pipeline has two phases. GPT-4o and Qwen3-235B-A22B receive the complete interview plus age and sex and are asked to construct a “realistic and coherent” psychological profile by making plausible inferences rather than paraphrasing. They are then told to assume that person's role and answer every questionnaire numerically. Temperature is set to 1. The study generates one simulation from each model and a second run only for GPT-4o, used for stability analysis.

The temperature description contains conceptual errors: it says values near 0 are “more stochastic and reproducible” and values near 1 are more creative but “less stochastic.” In ordinary sampling, lowering temperature reduces randomness and increases reproducibility, whereas raising it generally increases diversity and stochasticity. The paper also omits API, provider, exact GPT-4o snapshot, Qwen serving version, inference date, seed, top-p, system prompt, context-retention method, and reasoning parameters. Referring to defaults in a “browser app” does not reconstruct the setup.

The authors run one-way ANOVAs on three groups of 26 observations: humans, GPT-4o replicas, and Qwen replicas. Residual degrees of freedom of 75 confirm that all 78 scores are treated as independent. Each LLM output, however, is paired to a specific person. The analysis ignores this dependence and between-person variance; paired comparisons, repeated measures, or a mixed model are required. More fundamentally, failure to reject a group-mean difference does not establish equivalence or individual agreement: a model could perfectly permute profiles across people and preserve the same mean.

ANOVAs find no differences for ASRS, BAARS-IV, or RAADS-R totals or subscales. AQ total is p=.063, while three of five subscales have nominal p<.05: Social Skill p=.039, Communication p=.031, and Imagination p=.042. Tukey tests identify Qwen-human differences, not GPT-4o-human differences. At least 19 total/subscale outcomes are tested without a documented family correction; even correcting only six AQ outcomes would leave none significant under Bonferroni or Holm. The ANOVAs also lack distribution and variance diagnostics, equivalence intervals, and effect sizes.

The most informative evidence is descriptive and paired: item-level mean absolute error. ASRS MAE is .80 for GPT-4o, .86 for Qwen, and 1.68 for random; BAARS-IV is .607, .634, and 1.28; AQ is .326, .367, and .499; RAADS-R is .842, .994, and 1.38. After dividing by each scale's range and averaging the four tests equally, the paper reports .25, .28, and .45. This is a clear advantage over the stated random baseline, but no confidence intervals or tests of MAE differences are provided.

Exact item-match accuracy is modest and depends on response-set size. ASRS is .417 for GPT-4o, .385 for Qwen, and .175 for random; BAARS-IV .486, .497, and .269; AQ .666, .633, and .501; RAADS-R .487, .438, and .268. Random values are approximately what uniform answers would yield on five-, four-, or binary-scored response sets. The paper does not explain how random was generated, how many repetitions were used, its seed, or whether response marginals were preserved.

Beating uniform choice does not demonstrate individual simulation. Critical baselines are missing: leave-one-person-out item modes or medians, the average human profile, interviews shuffled across participants, empty interview, age/sex only, a generic profile prompt, a simple text model, and ablation of the psychological-profile stage. A model can obtain far lower MAE than uniform random by selecting common population answers or mapping explicit symptoms to semantically related items without identifying the correct participant.

AQ Attention to Detail is an important exception. GPT-4o has MAE .435 versus .400 for random and exact accuracy .514 versus .538: worse than chance in both tables. Qwen obtains .365 and .570. This contradicts an exception-free reading that both systems beat random everywhere. Qwen also exceeds GPT-4o on BAARS-IV total exact match, .497 versus .486, and on some subscales. Claims that GPT-4o is consistently more accurate should be read as an aggregate average, not dominance on every metric.

Table 8 contains a verifiable editorial error: all five random BAARS-IV standard deviations.607, .590, .523, .577, and .684, exactly duplicate the five GPT-4o means in the same table. Without data, the correct dispersion cannot be recovered. This affects traceability of uncertainty, though not the reported means.

The analysis called “reliability” compares only two GPT-4o runs. Exact run-to-run match is .799 for ASRS, .870 for BAARS-IV, .805 for AQ, and .768 for RAADS-R; aggregate normalized MAE is .09 for totals and .10 for subscales. This is output stability under one repeated prompt, not psychometric reliability or human test-retest reliability. Two runs do not estimate ICC, profile rank correlation, internal consistency, standard error of measurement, or intervals. Qwen is not repeated, so the abstract cannot comparatively establish higher GPT-4o reproducibility than Qwen.

For “sensitivity,” 11 profiles are labeled high and 15 low. High means above the 95th percentile on at least three of four tests; low means below it on at least three. The paper does not identify the normative population, Italian version, sex/age adjustment, cutoffs, or procedure behind those percentiles. The same questionnaire used as the target defines the stratum, and MAE is then described within it without an interaction or high-low test. Results descriptively suggest larger error for high BAARS-IV and RAADS-R profiles, but ASRS changes little and AQ is mixed. This does not validate clinical discrimination or diagnostic sensitivity.

The study reports no person-level correlation, ICC, Bland–Altman analysis, calibration, rank recovery, case classification, diagnostic sensitivity/specificity, or incremental validity. Human questionnaire answers are treated as objective truth even though they are self-reports with measurement error and are not diagnoses. The predicted target is a person's answer, not their neurotype or an independent clinical assessment.

RAADS-R requires distinguishing whether behavior existed before age 16. The interview does not systematically collect childhood history. The paper acknowledges that the model constructs a plausible developmental narrative from indirect cues. Coherence is not evidence that the true history was recovered; it is an unobserved inference that could become false biography in a clinical context. Matching a response category does not validate the generated narrative or its causal explanation.

Data and code are unavailable. Withholding interviews is reasonable because they are sensitive, but it prevents verification of transcription, translation, reverse scoring, missing responses, parsing, percentile construction, random baseline, table errors, and analyses. No de-identified item-level outputs, sufficient statistics, scripts, environment, complete prompts with test items, model IDs, or API logs are deposited. Availability “on reasonable request” is not an auditable reproduction.

The sample is small, young, Italian, voluntary, mostly female, and convenience-based. The paper does not report how many participants had a confirmed diagnosis, which diagnosis, by whom, or the composition of the high group, comorbidities, medication, and education. The title's reference to neurodivergent adult profiles therefore exceeds what is directly established: the study predicts neurodivergence-related self-report patterns in a mixed sample, not clinically validated ADHD, autism, or CDS profiles.

The interview and instruments were administered in Italian, but versions, validation studies, cultural equivalence, licensing, and exact scoring rules are not identified. RAADS-R has 16 normative items requiring reverse scoring; the PDF shows numeric response categories in the prompt but not the reversal code. AQ asks for four responses and then applies the original binary scoring; the exact pipeline is also unavailable. Paired MAE is invariant if both sides are reversed, but sums, percentiles, and intensity assignment depend on correct scoring.

For data protection, the paper says records were anonymized with a code made from three letters of the first name and three from the surname. This is identifier-derived pseudonymization, not irreversible anonymization, especially in a local sample of 26. The system collected age, sex, education, nationality, diagnosis, and sensitive free text and emailed results, interviews, and consent forms to a dedicated address. The supplement says the platform collected or stored no personally identifiable information, which is in tension with the main method. No ethics committee, approval or exemption number, legal basis, encryption, retention, access controls, or re-identification assessment is reported; informed consent and non-diagnostic use are stated.

The defensible contribution is a pilot cross-format prediction study: symptom-rich interviews allow two LLMs to approximate self-report answers better than uniform choice, with GPT-4o slightly better on aggregate normalized MAE and two-run exact stability of 77–87%. This is a useful signal for designing a stronger benchmark. It does not establish identity reconstruction, simulation of neurodivergent cognition, clinical validity, architectural superiority, absence of stereotypes, or suitability as a substitute for human participants. Claims about “synthetic participants” require larger data, paired controls, nontrivial baselines, reproducible scoring, diagnostic evaluation, and explicit ethical governance.

El preprint pregunta si dos LLM pueden predecir las respuestas que una persona concreta dio a cuatro cuestionarios de rasgos neurodivergentes a partir de una entrevista escrita. Esta revisión usa arXiv:2601.15319v1, única versión disponible al 15 de julio de 2026: 27 páginas, incluidas tablas y el protocolo suplementario bilingüe. No se localizó publicación revisada por pares, repositorio de código ni datos abiertos.

Participaron 26 adultos italianos de 21 a 36 años, 19 mujeres y 7 hombres, reclutados voluntariamente en redes universitarias y sociales en mayo de 2025. Cada persona completó una entrevista escrita de 29 preguntas y cuatro autoinformes: ASRS v1.1 de 18 ítems para síntomas de TDAH; BAARS-IV de 27 ítems para inatención, hiperactividad, impulsividad y Sluggish Cognitive Tempo; AQ de 50 ítems para rasgos autistas; y RAADS-R de 80 ítems con distinciones entre infancia y presente. Se recogieron también edad, sexo biológico, educación, nacionalidad y diagnóstico neuroevolutivo declarado, pero el artículo no publica la distribución diagnóstica.

La entrevista no es una entrevista diagnóstica validada. Fue creada para el estudio mediante revisión fenotípica, diferenciación etiológica, redacción de 29 preguntas y revisión cualitativa por dos especialistas, uno en TDAH/CDS y otro en autismo adulto. Las preguntas evitan copiar literalmente los tests, pero se diseñaron explícitamente alrededor de inatención, impulsividad, organización, comunicación social, intereses restringidos, sensibilidad sensorial, enlentecimiento, ensoñación e iniciación. Por tanto, existe un solapamiento de constructo fuerte: la tarea mide en buena parte traducción entre una descripción narrativa de síntomas y preguntas de los mismos dominios, no inferencia de un estado latente independiente.

El pipeline tiene dos fases. GPT-4o y Qwen3-235B-A22B reciben la entrevista completa, edad y sexo y deben construir un perfil psicológico “realista y coherente”, haciendo inferencias plausibles en lugar de parafrasear. A continuación se les pide asumir el rol de esa persona y contestar cada cuestionario con valores numéricos. La temperatura se fija en 1. El estudio genera una simulación de ambos modelos y una segunda ejecución solo para GPT-4o, utilizada como análisis de estabilidad.

La descripción de temperatura contiene errores conceptuales: afirma que cerca de 0 las respuestas son “más estocásticas y reproducibles” y que cerca de 1 son más creativas pero “menos estocásticas”. En realidad, bajar temperatura reduce normalmente el muestreo aleatorio y aumenta reproducibilidad; subirla suele aumentar diversidad y estocasticidad. Tampoco se informa API, proveedor, snapshot exacto de GPT-4o, versión de Qwen, fecha de inferencia, seed, top-p, system prompt, conservación del contexto ni parámetros de razonamiento. La referencia a valores por defecto de una “browser app” no permite reconstruir la configuración.

Los autores realizan ANOVA de un factor sobre tres grupos de 26 observaciones: humanos, réplicas GPT-4o y réplicas Qwen. Los grados de libertad residuales 75 confirman que las 78 puntuaciones se trataron como independientes. Sin embargo, cada salida LLM está emparejada con una persona específica. El análisis ignora esa dependencia y la variabilidad entre participantes; correspondían comparaciones pareadas, medidas repetidas o un modelo mixto. Además, no hallar una diferencia de medias entre grupos no demuestra equivalencia ni concordancia individual: un modelo podría permutar perfectamente los perfiles entre participantes y conservar la misma media.

Los ANOVA no encuentran diferencias en totales o subescalas de ASRS, BAARS-IV o RAADS-R. En AQ, el total queda en p=0,063 y tres de cinco subescalas dan p nominal menor que 0,05: Social Skill p=0,039, Communication p=0,031 e Imagination p=0,042. Tukey identifica diferencias entre Qwen y humanos, no entre GPT-4o y humanos. Se prueban al menos 19 totales/subescalas sin corrección familiar documentada; incluso corrigiendo solo las seis pruebas AQ, ninguna de esas p sobreviviría Bonferroni u Holm. Los ANOVA tampoco presentan diagnósticos de distribución, homocedasticidad, intervalos de equivalencia o tamaño de efecto.

La evidencia más informativa es descriptiva y emparejada: error absoluto medio por ítem. En ASRS, MAE es 0,80 para GPT-4o, 0,86 para Qwen y 1,68 para random; en BAARS-IV, 0,607, 0,634 y 1,28; en AQ, 0,326, 0,367 y 0,499; en RAADS-R, 0,842, 0,994 y 1,38. Tras dividir por el rango de cada escala y promediar los cuatro tests por igual, el artículo informa 0,25, 0,28 y 0,45. Es una ventaja clara frente al baseline aleatorio descrito, pero no se proporcionan intervalos ni pruebas de la diferencia de MAE.

La exactitud de coincidencia exacta por ítem es modesta y depende del número de opciones. En ASRS es 0,417 para GPT-4o, 0,385 para Qwen y 0,175 para random; BAARS-IV 0,486, 0,497 y 0,269; AQ 0,666, 0,633 y 0,501; RAADS-R 0,487, 0,438 y 0,268. Los valores aleatorios son aproximadamente los esperables con respuestas uniformes en escalas de cinco, cuatro o dos categorías puntuadas. El método no explica cómo se generó random, cuántas réplicas se usaron, seed o si preservó distribuciones marginales.

Superar una respuesta uniforme no prueba simulación individual. Faltan baselines decisivos: moda o mediana por ítem estimada sin la persona objetivo, perfil humano promedio, entrevistas permutadas entre participantes, entrevista vacía, solo edad/sexo, un prompt genérico, un modelo textual simple y una ablación sin la fase de “perfil psicológico”. Un modelo puede obtener MAE mucho menor que azar seleccionando respuestas frecuentes de la población o mapeando síntomas explícitos a ítems relacionados sin haber identificado al participante correcto.

El AQ muestra una excepción importante. En Attention to Detail, GPT-4o tiene MAE 0,435 frente a 0,400 de random y exactitud 0,514 frente a 0,538: peor que azar en ambas tablas. Qwen obtiene 0,365 y 0,570. Esto contradice una lectura sin excepciones de que ambos modelos superan random en todos los dominios. Qwen también supera a GPT-4o en exactitud total BAARS-IV, 0,497 frente a 0,486, y en algunas subescalas. La afirmación de que GPT-4o es consistentemente más preciso debe entenderse como promedio agregado, no como dominancia en cada métrica.

La tabla 8 contiene un error editorial verificable: las cinco desviaciones estándar de random para BAARS-IV son exactamente 0,607, 0,590, 0,523, 0,577 y 0,684, idénticas a las cinco medias de GPT-4o de la misma tabla. Sin datos no es posible saber cuáles son los valores correctos. Esta copia afecta la trazabilidad de la dispersión, aunque no las medias principales.

El análisis llamado “reliability” compara solo dos ejecuciones de GPT-4o. La coincidencia exacta entre runs es 0,799 en ASRS, 0,870 en BAARS-IV, 0,805 en AQ y 0,768 en RAADS-R; el MAE normalizado agregado es 0,09 para totales y 0,10 para subescalas. Esto mide estabilidad de salida bajo un prompt repetido, no fiabilidad psicométrica del instrumento ni test-retest humano. Con dos runs no se estiman ICC, correlación de rangos de perfiles, consistencia interna, error estándar de medida o intervalos. Qwen no se repite, de modo que el abstract no puede sostener comparativamente que GPT-4o tenga mayor reproducibilidad que Qwen.

Para “sensibilidad” se definen 11 perfiles high y 15 low: high significa superar el percentil 95 en al menos tres de cuatro tests; low, quedar por debajo en al menos tres. No se especifica qué población normativa, traducción italiana, sexo/edad, valores de corte o procedimiento produce esos percentiles. Con el mismo autoinforme usado como target se define el estrato y se describe el MAE en ese estrato, sin prueba de interacción o diferencia high–low. Los resultados sugieren descriptivamente mayor error en perfiles altos para BAARS-IV y RAADS-R, pero ASRS cambia poco y AQ es mixto. Eso no valida discriminación clínica ni sensibilidad diagnóstica.

El trabajo no publica correlación participante-a-participante, ICC, Bland–Altman, calibración, recuperación de orden, clasificación de casos, sensibilidad/especificidad a diagnóstico o validez incremental. Los cuestionarios humanos se tratan como verdad objetivo, aunque son autoinformes con error de medida y no equivalen a diagnóstico. El dato predicho es la respuesta dada por la persona, no su neurotipo ni una evaluación clínica independiente.

RAADS-R requiere distinguir si una conducta existía antes de los 16 años. La entrevista no pregunta de forma sistemática por historia infantil. El propio artículo reconoce que el modelo construye una narración de desarrollo plausible a partir de indicios indirectos. Esa coherencia no es evidencia de que recupere la historia real; es precisamente una inferencia no observada que, en un contexto clínico, podría convertirse en falsa biografía. La evaluación contra el autoinforme puede medir coincidencia de categoría, pero no valida la narrativa generada ni sus causas.

Los datos y el código no están disponibles. La reserva de las entrevistas es razonable por su sensibilidad, pero impide verificar transcripción, traducción, scoring inverso, respuestas faltantes, parsing, cálculo de percentiles, baseline random, errores de tablas y análisis. No se depositan resultados anonimizados por ítem, estadísticas suficientes, scripts, entorno, prompts completos con ítems, IDs de modelo o registros de API. “Disponible bajo solicitud razonable” no sustituye una reproducción auditable.

La muestra es pequeña, joven, italiana, voluntaria, mayoritariamente femenina y de conveniencia. No se informa cuántos participantes tenían diagnóstico confirmado, cuál, por quién, ni comorbilidades, medicación, educación o composición del grupo high. Por ello, el título sobre perfiles de adultos neurodivergentes abarca más de lo demostrado: el estudio predice patrones de autoinforme relacionados con neurodivergencia en una muestra mixta, no valida perfiles clínicos de TDAH, autismo o CDS.

La entrevista se administró en italiano y se usaron traducciones italianas de cuatro escalas, pero no se identifican versiones, estudios de validación, equivalencia cultural, licencias o reglas exactas de scoring. En RAADS-R existen 16 ítems normativos con scoring inverso; el PDF muestra categorías numéricas en el prompt, pero no documenta el código de inversión. En AQ se solicitan cuatro respuestas y luego se aplica el scoring binario original; el pipeline exacto tampoco está disponible. Las MAE emparejadas no cambian al invertir ambos lados, pero sumas, percentiles y clasificación de intensidad sí dependen de un scoring correcto.

En protección de datos, el artículo afirma anonimización mediante un código formado por tres letras del nombre y tres del apellido. Eso es pseudonimización derivada de identificadores, no anonimización irreversible, especialmente en una muestra local de 26 personas. El sistema recopiló edad, sexo, educación, nacionalidad, diagnóstico y texto libre sensible y envió resultados, entrevistas y consentimiento a una dirección de correo. El suplemento dice que la plataforma no recogió ni almacenó información personalmente identificable, lo que entra en tensión con la descripción principal. No se informa comité de ética, número de aprobación o exención, base de tratamiento, cifrado, retención, acceso o evaluación de reidentificación; sí se declara consentimiento y uso no diagnóstico.

La contribución defendible es una prueba piloto de predicción cross-format: entrevistas sintomáticamente ricas permiten a dos LLM aproximar respuestas de autoinforme mejor que una elección uniforme, con GPT-4o algo mejor en el promedio normalizado y una estabilidad de dos runs de 77–87 % de coincidencia exacta. Es una señal útil para diseñar benchmarks más rigurosos. No demuestra reconstrucción de identidad, simulación de cognición neurodivergente, validez clínica, superioridad de una arquitectura, ausencia de estereotipos ni utilidad como sustituto de participantes humanos. Las conclusiones sobre “synthetic participants” requieren datos mayores, controles pareados, baselines no triviales, scoring reproducible, evaluación diagnóstica y gobernanza ética explícita.