How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Ishan Gupta, Pavlo Buryi

Palabras clave: Persona conditioning, Neurodivergence, Prompt adaptation, Safety evaluation, LLM-as-judge, Measurement reliability, Human-Computer Interaction, Reproducibility audit

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
8
Hallazgos
18
Limitaciones
3
Evidencias

Resumen editorial

Español

Este preprint presenta NDBench, un audit de cómo GPT-5 Chat y Claude Sonnet 4.6 responden a 24 consultas en inglés cuando el system prompt no contiene contexto, incorpora uno de cuatro perfiles neurodivergentes sintéticos o añade además directivas de adaptación. El repositorio permite reconciliar 576 respuestas correctas y 1.152 juicios LLM. En el análisis publicado, la condición con directivas produce en promedio 83,8 tokens, 2,24 encabezados y 12,59 palabras por paso más que el control. Los dos jueces coinciden suficientemente sólo en refuerzo del enmascaramiento (alpha 0,808) y calidad de validación (0,700). En la primera métrica, declarar el perfil sin la salvaguarda no cambia el resultado agregado, mientras la prohibición explícita de aconsejar parecer normal, actuar de forma neurotípica o enmascararse reduce la media 44% en Claude y 36% en GPT sobre seis prompts adversariales. La interpretación correcta es estrecha: los dos modelos obedecen preferencias detalladas y directivas explícitas, incluida una salvaguarda anti-enmascaramiento. No se demuestra que infieran por sí solos una adaptación adecuada a la neurodivergencia. La condición llamada sólo persona ya especifica preferencias de comunicación, formato, detalle, tono y texto libre, como listas numeradas, encabezados, viñetas o espacios; por eso el aumento estructural no puede atribuirse a declarar ADHD, autismo, dislexia o AuDHD. En C2, además, el propio prompt ordena usar encabezados, listas, pasos, validación y lenguaje anti-enmascaramiento, de modo que las métricas son principalmente controles de seguimiento de instrucciones. No participaron personas neurodivergentes y no se midieron utilidad, accesibilidad, preferencia, éxito de tarea ni resultados reales. El diseño también sobrestima la estabilidad: las cuatro celdas de perfil de C0 envían exactamente la misma solicitud y generan textos distintos en los 48 grupos modelo-consulta, pese a usar temperatura cero; C1 y C2 sólo tienen una generación por celda. El modelo estadístico usa 576 filas con sólo query_id como intercepto aleatorio, omite perfil e interacciones y no justifica generalización desde dos endpoints. El código no implementa el contraste C2-C1, Cohen d, intervalos bootstrap ni la comprobación de varianza prometidos. Cuatro métricas de daño fallan el umbral de fiabilidad, y el texto conserva cifras de acuerdo y enmascaramiento que contradicen sus CSV. Aun con estos límites, la publicación de prompts, respuestas, juicios y análisis convierte NDBench en un artefacto útil para auditar cumplimiento de prompts y salvaguardas, no en evidencia clínica o poblacional sobre personas neurodivergentes.

English

This preprint introduces NDBench, an audit of how GPT-5 Chat and Claude Sonnet 4.6 answer 24 English queries when the system prompt contains no context, one of four synthetic neurodivergent profiles, or that profile plus adaptation directives. The repository reconciles to 576 successful responses and 1,152 successful LLM judgments. In the released analysis, the directive condition averages 83.8 more tokens, 2.24 more headings and 12.59 more words per step than control. The two judges achieve the study's reliability threshold only for masking reinforcement (alpha 0.808) and validation quality (0.700). For masking, profile context without the safeguard has no pooled effect, while an explicit prohibition on advising users to seem normal, act neurotypical or mask lowers means by 44% for Claude and 36% for GPT on six adversarial prompts. The defensible interpretation is narrow: the two models follow detailed preferences and explicit directives, including an anti-masking safeguard. The study does not show that they independently infer appropriate neurodivergence adaptation. The condition labeled persona only already states communication, format, detail and coaching preferences plus free text requesting features such as numbered lists, headings, bullets and whitespace; structural changes therefore cannot be attributed to declaring ADHD, autism, dyslexia or AuDHD. C2 additionally orders headings, lists, granular steps, validation and anti-masking language, making the metrics primarily instruction-following manipulation checks. No neurodivergent participants evaluated the profiles or answers, and the study measures no usability, accessibility, preference, task success or real-world outcome. Stability is also overstated: the four C0 profile cells send identical requests, yet all 48 model-query groups produce multiple distinct texts at temperature zero; C1 and C2 have only one draw per cell. The mixed model treats 576 outputs as rows with query_id as the sole random intercept, omits profile and interactions, and cannot justify class-level claims from two mutable endpoints. Released code does not implement the promised C2-C1 contrast, Cohen's d, bootstrap intervals or variance check. Four harm dimensions fail reliability, and manuscript prose retains agreement and masking numbers that conflict with the CSV tables. Despite these limits, releasing prompts, responses, judgments and analysis makes NDBench a useful artifact for auditing prompt compliance and safeguards, not clinical or population evidence about neurodivergent people.

Pregunta de investigación

¿Cambian dos modelos conversacionales de frontera la estructura, el estilo superficial y ciertos patrones potencialmente dañinos cuando el system prompt incluye un perfil neurodivergente sintético y directivas explícitas de adaptación?

Método

Diseño etiquetado como factorial de dos modelos, tres condiciones, cuatro perfiles y 24 consultas. C0 no envía system prompt; C1 incluye neurotipo, rasgos y preferencias detalladas de comunicación, formato, detalle y tono; C2 añade cuatro directivas de estructura, descomposición, no conformidad y validación seguida de acción. Las respuestas se generan una vez a temperatura cero. Métricas deterministas cuentan tokens, líneas, listas, encabezados, frases, legibilidad, softeners, emoji y VADER. GPT-5 Chat y Claude Sonnet 4.6 puntúan seis dimensiones de daño/validación. El análisis usa modelos mixtos con condición y modelo como efectos fijos y query_id como único intercepto aleatorio. La auditoría leyó visualmente las 15 páginas, inspeccionó TeX, configuración, 661 registros de intentos, 1.159 registros de jueces y todo el código, y reejecutó métricas y análisis.

Muestra: El artefacto correcto tiene 576 respuestas: 2 modelos x 3 condiciones x 4 perfiles x 24 consultas, una salida por celda etiquetada. C0 contiene 192 llamadas pero sólo 48 combinaciones únicas de modelo-consulta porque no se envía el perfil; sus cuatro llamadas nominales por perfil son réplicas estocásticas. Los jueces aportan 1.152 puntuaciones correctas, dos por respuesta. No hay participantes humanos ni muestra de personas neurodivergentes.

Hallazgos

  • El repositorio reconcilia exactamente 576 celdas correctas y 1.152 pares respuesta-juez correctos; conserva además 85 y siete fallos de rate limit, respectivamente.
  • C2 aumenta en el modelo agregado 83,8 tokens, 2,24 encabezados y 12,59 palabras por paso respecto a C0.
  • La densidad de listas apenas cambia agregadamente, mientras encabezados y profundidad por paso aumentan; estas medidas describen forma textual, no utilidad semántica.
  • El refuerzo del enmascaramiento no cambia entre C1 y C0, pero baja 0,263 puntos en C2; las medias descienden 0,557 a 0,312 en Claude y 0,776 a 0,495 en GPT.
  • La calidad de validación juzgada aumenta de 1,880 a 2,760 en Claude y de 1,703 a 3,312 en GPT entre C0 y C2.
  • Sólo enmascaramiento (alpha 0,808) y validación (0,700) superan el umbral 0,67; las otras cuatro alphas van de -0,704 a 0,010.
  • En ninguno de los 48 grupos C0 modelo-consulta las cuatro respuestas son idénticas: 43 tienen cuatro textos distintos y cinco tienen tres.
  • La reejecución local conserva medias, alphas y coeficientes, aunque dependencias no fijadas cambian errores estándar, p-valores, serialización y PDFs.

Limitaciones

  • C1 no aísla una declaración de neurotipo: ya transmite preferencias explícitas de formato, detalle, comunicación y tono.
  • C2 ordena directamente las propiedades que luego se cuentan; los resultados estructurales y de anti-enmascaramiento son principalmente controles de obediencia al prompt.
  • Los cuatro perfiles son compuestos sintéticos sin co-diseño comunitario, validación clínica, heterogeneidad individual ni representatividad poblacional.
  • No hay evaluación humana ni medidas de utilidad, accesibilidad, preferencia, éxito de tarea, salud o daño real.
  • Sólo se prueban 24 consultas en inglés y seis probes de enmascaramiento.
  • C1 y C2 tienen una sola salida por celda; temperatura cero no elimina la variación y la comprobación a temperatura 0,7 prometida en spec.md no existe.
  • C0 cruza un perfil que no se envía y trata cuatro réplicas estocásticas como niveles de perfil.
  • El modelo mixto usa sólo query_id como intercepto aleatorio, omite perfil, interacciones y estructura de repetición, y usa z asintótico con 24 consultas.
  • Dos modelos propietarios y mutables no permiten inferir comportamiento de los LLM de frontera como clase.
  • El código no calcula el contraste C2-C1 anunciado, Cohen d ni intervalos bootstrap.
  • Holm se aplica sólo a dos contrastes dentro de cada métrica, no a la familia de 17 métricas.
  • Infantilización, estereotipos, rechazo y patologización fallan el umbral de acuerdo y no admiten interpretación primaria.
  • La prosa da alphas antiguas 0,835/0,735 frente a 0,808/0,700 de la tabla y cifras C2 de enmascaramiento 0,40/0,29 frente a 0,50/0,31 de los datos.
  • El p ajustado de granularidad por paso es 1,080034e-8, ligeramente superior al menor que 1e-8 afirmado en el abstract.
  • Las dependencias sólo tienen límites inferiores; faltan lockfile, versión Python, contenedor, tests y CI.
  • gpt-5-chat-latest es un alias móvil y no se conserva fingerprint de los proveedores.
  • La mitad de los juicios son autojuicios del mismo modelo auditado, no una separación limpia entre generador y evaluador.
  • El README contiene un comando inexistente y las licencias MIT/CC-BY declaradas no tienen archivo LICENSE.

Qué no demuestra

  • Que los modelos sepan adaptar autónomamente sus respuestas a una persona neurodivergente a partir del neurotipo.
  • Que más encabezados, tokens o pasos impliquen mejor contenido, mayor accesibilidad o preferencia del usuario.
  • Que los perfiles representen la diversidad de personas con ADHD, autismo, dislexia o AuDHD.
  • Que las respuestas sean clínicamente apropiadas, terapéuticas o beneficiosas.
  • Que las cuatro dimensiones con bajo acuerdo mejoren o empeoren entre condiciones.
  • Que la salvaguarda reduzca daños distintos del consejo de enmascaramiento en los probes construidos.
  • Que los efectos sean estables entre ejecuciones, idiomas, consultas, versiones o proveedores.
  • Que dos endpoints constituyan una muestra suficiente para generalizar a los LLM de frontera.
  • Que NDBench estime experiencias, preferencias, riesgos o resultados de personas neurodivergentes reales.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.00113v1; repository commit a0f64fd08ab3b70593470c66399bd069a8ef0ffb

Fuente consultada: https://arxiv.org/abs/2605.00113

Revisión: Codex 15-page visual full-text, prompt, response-cache, dual-judge, statistical, code and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • gpt-5-chat-latest as audited response model
  • claude-sonnet-4-6 as audited response model
  • gpt-5-chat-latest as LLM judge
  • claude-sonnet-4-6 as LLM judge

Instrumentos y métricas

  • Four synthetic neurodivergence profile prompts
  • Twenty-four English benchmark queries
  • Six masking-bait adversarial prompts
  • Deterministic structural and surface text metrics
  • VADER sentiment
  • TextStat readability
  • Six-dimension dual-LLM harm rubric
  • Krippendorff alpha
  • Linear mixed-effects regression with query random intercept
  • Holm correction across two contrasts within each metric

Datos utilizados

  • NDBench 576 successful response cells
  • Response cache with 661 attempts, including 85 rate-limit failures
  • 1,152 successful dual-judge scores
  • Judgment cache with 1,159 attempts, including seven rate-limit failures
  • Released structural, surface and harm metric tables
  • Released prompts, code, figures and LaTeX source

Evidencia y localización

  • Texto completo, tablas, figuras, limitaciones y prompts del apéndice: arXiv:2605.00113v1; PDF sha256 c710a73af7c0fff46fb32ba1469a8c23e0d3921d5f29a4b658bac57a58da6a75
  • Prompts, perfiles, respuestas, juicios, métricas y análisis auditados: GitHub ishansgupta/ndbench commit a0f64fd08ab3b70593470c66399bd069a8ef0ffb; archive sha256 a03405d9f4b2a49bbd9977f10861a414601e8a6ae886458abdd556d0b5f9d5fa
  • Auditoría de confusión persona-directiva, control, réplicas, estadística, jueces y reproducibilidad: reports/verification/article-352-ndbench-persona-directive-confound-control-replication-statistics-judge-reliability-and-reproducibility-audit.json