Algorithmic Fragility and Persona Bias in LLM-Generated Autistic Communication

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Naba Rizvi, Mohammed Rizvi, Saleha Ahmedi, Hana Gabrielle Rubio Bidon, Harper Strickland, Nedjma Ousidhoum

Palabras clave: Autistic representation, Persona prompting, Safety alignment, Multi-agent qualitative analysis

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6
Autores
10
Hallazgos
18
Limitaciones
6
Evidencias

Resumen editorial

Español

Este preprint estudia cómo diez modelos locales reescriben fragmentos de Reddit sobre autismo cuando reciben una persona «autista» o «neurotípica». Es importante delimitar el constructo: el experimento mide la respuesta de modelos a una instrucción identitaria de reescritura, no la comunicación auténtica, la cognición ni la personalidad de personas autistas. Los autores parten de AUTALIC, un corpus previo de discurso sobre autismo anotado por tres personas por fila, y afirman usar 2.120 textos para clasificación y reescritura, más 283 ejemplos para in-context learning. Prueban diez modelos de 135M a 20B parámetros; SmolLM2 y GPT-OSS Safeguard se excluyen por salidas inválidas y LLaMA Guard 3 por producir un vocabulario de solo dos tokens. El cálculo principal se describe como siete modelos por 2.120 textos, 14.840 pares de reescrituras, reducido por casos completos a 13.274 pares. La generación usa Ollama y temperaturas heterogéneas: 0 para LLaMA Guard 3, 1 para Gemma 3 y GPT-OSS, y aproximadamente 0,8 para los demás. La fidelidad al texto fuente se estima con ROUGE-1, ROUGE-L y similitud coseno de all-mpnet-base-v2; el cambio afectivo, con Twitter-RoBERTa. Se aplican Wilcoxon pareado, 10.000 remuestreos bootstrap y correlaciones biseriales por rangos. Tres modelos adicionales, Phi-4 Reasoning, Magistral y OpenThinker, actúan como codificadores cualitativos y Magistral sintetiza sus análisis. En las salidas retenidas, las reescrituras neurotípicas superan a las autistas en 0,019 de ROUGE-1 (p=4,33×10⁻²⁰; IC95% 0,015-0,024; r=0,21) y 0,017 de ROUGE-L (p=3,96×10⁻¹⁹; IC95% 0,012-0,021; r=0,20). Son diferencias léxicas pequeñas, detectables con una muestra pareada muy grande. La diferencia de similitud semántica es 0,001 con p=0,220: esto es un fallo al rechazar diferencia cero, no una demostración de equivalencia estadística, porque no se define margen ni se usa TOST u otra prueba de equivalencia. Ambas condiciones desplazan el sentimiento alrededor de +0,30 frente al original; la diferencia entre personas es -0,010 (p=0,0036; IC95% -0,017 a -0,003; r=0,06), estadísticamente detectable pero prácticamente insignificante. El artículo informa una similitud media de 0,66 entre las dos reescrituras de cada texto y la describe como casi idéntica. Esa formulación es excesiva: 0,66 no implica identidad y el valor extremo de 0,991 procede de LLaMA Guard, precisamente excluido porque actúa como clasificador de dos tokens. Los ejemplos cualitativos sí documentan fallos plausibles: Mistral NeMo sustituye contenido por marcadores, Dolphin Mistral inventa transformaciones estereotipadas y Gemma o DeepSeek producen encabezados y explicaciones procedimentales en lugar de la reescritura. Sin embargo, el prompt pide razonamiento y guardar un archivo Excel, por lo que induce parte de esos tokens procedimentales; el apéndice tampoco reproduce la plantilla neurotípica pese a afirmar que incluye ambas. Los raw outputs, codebooks, lotes, semillas y reglas de adjudicación no están publicados. Las frecuencias de fallos son estimaciones aproximadas de LLM, no conteos observados verificables. La comparación humana incorpora dos adultos autistas, un corpus disputado de 52 textos y una selección de 15. Los ejemplos sobre Autism Speaks, voz autobiográfica, lenguaje reapropiado y ambigüedad aportan hipótesis valiosas sobre errores de los clasificadores. No permiten afirmar un patrón sistemático o representativo: no se publican tasas, intervalos, muestreo, labels, reflexiones ni trazas de adjudicación, y la redacción sobre kappa es internamente ambigua. La versión v2 tampoco informa revisión ética, consentimiento, reclutamiento o compensación de esos participantes. El estudio atribuye la fragilidad a estrategias de alineamiento, pero el diseño no identifica esa causa: compara familias, tamaños, fine-tunings, temperaturas y capacidades distintas, sin un modelo base prealineamiento, una intervención de alineamiento ni pares de arquitectura controlados. También hay incoherencias en la contabilidad de modelos: LLaMA Guard se excluye del corpus principal y luego ofrece la evidencia más fuerte de colapso; GPT-OSS se excluye por invalidez y después sustenta una afirmación sobre el modelo mayor. El filtrado por casos completos puede sesgar la diferencia si una persona falla más, pero faltan conteos por modelo/condición, reglas ejecutables e IDs. ROUGE, cosine y sentimiento miden proximidad léxica, semántica y polaridad, no autenticidad comunicativa autista. La base ponderada heredada de la v1 promedia por igual AQ, SATA e IAT normalizados en una muestra de nueve anotadores; no se publican puntuaciones, pesos ni labels ponderados y su validación es pequeña y parcialmente circular. La auditoría del artefacto AUTALIC encuentra 2.400 filas y confirma 1.382 acuerdos unánimes y 1.018 no unánimes, pero el ZIP actual contiene 122 filas consecutivas con texto objetivo y contextos completamente vacíos aunque conserva las etiquetas. Un segundo repositorio contiene los 2.400 objetivos, incluidos los 122 ausentes, pero no sus contextos. Las 2.278 cadenas no vacías y los 2.400 tríos de puntuaciones coinciden fila a fila entre repositorios. Hay además 138 contextos precedentes vacíos; solo 1.876 de 2.400 están presentes, frente a 2.014 declarados en el paper original. Veintiún objetivos superan 100 palabras y el mayor alcanza 910, por lo que no son uniformemente «oraciones». No se publica el mapeo de las 2.120 filas usadas en v2, así que no puede saberse si estos defectos afectaron al análisis. El registro arXiv requiere una advertencia excepcional: v1 era un paper distinto, «Annotator Positionality as Signal», con otro título, abstract, autoría y estudio; seis días después v2 reemplazó su identidad manteniendo el mismo identificador. La página arXiv muestra cinco autores, mientras el PDF v2 acredita seis e incluye a Hana Gabrielle Rubio Bidon; esta ficha conserva la autoría del PDF. Una submission anónima aparece indexada en OpenReview, pero no se verificó aceptación, revisiones públicas ni suplemento: debe citarse como preprint. No existe repositorio específico del paper, entorno, código de generación, outputs, manifest de exclusiones, cálculos estadísticos, análisis cualitativo ni corpus humano. Los repositorios públicos corresponden al corpus previo y a un chatbot Qwen no relacionado con el pipeline de v2. Por tanto, la contribución defendible es evidencia privada de una diferencia léxica pequeña entre reescrituras identitarias retenidas, un efecto afectivo despreciable y ejemplos útiles de fallos de cumplimiento. No demuestra equivalencia semántica, autenticidad autista, causalidad del alineamiento, prevalencia de los fallos, representación de la comunidad autista ni reproducibilidad computacional.

English

This arXiv preprint examines how ten locally run models rewrite Reddit discourse about autism under an autistic or neurotypical persona instruction. The construct must be bounded carefully: it measures model response to an identity-conditioned rewrite prompt, not authentic autistic communication, cognition, or personality. The study claims a 2,120-item AUTALIC subset plus 283 in-context examples. Ten rewrite models range from 135M to 20B parameters; SmolLM2 and GPT-OSS Safeguard are excluded for invalid output and LLaMA Guard 3 for a two-token vocabulary. Seven models times 2,120 items yield a stated 14,840 rewrite pairs, reduced by complete-case filtering to 13,274. Ollama settings are heterogeneous, with temperatures from 0 to 1. Source fidelity is measured with ROUGE-1, ROUGE-L and all-mpnet-base-v2 cosine similarity, and affect with Twitter-RoBERTa. Paired Wilcoxon tests, 10,000 bootstrap resamples and rank-biserial correlations are reported. Phi-4 Reasoning, Magistral and OpenThinker provide LLM-assisted qualitative coding. Among retained pairs, neurotypical rewrites score 0.019 higher on ROUGE-1 (p=4.33e-20, 95% CI 0.015-0.024, r=.21) and 0.017 higher on ROUGE-L (p=3.96e-19, CI 0.012-0.021, r=.20). These are small lexical effects detected in a large paired sample. The cosine difference is 0.001 with p=.220; failure to reject a difference is not statistical equivalence because no margin or equivalence test is specified. Both conditions shift sentiment about +0.30 from source. Their between-persona difference is -0.010 (p=.0036, CI -0.017 to -0.003, r=.06), detectable but practically negligible. Mean cross-persona similarity is reported as .66 and described as near-identical. That wording is unsupported: .66 does not establish identity, and the .991 extreme comes from the excluded two-token LLaMA Guard output. Qualitative examples plausibly show placeholder erasure, stereotyped hallucination and procedural meta-commentary. Their prevalence and cause remain unverified. The prompt itself requests reasoning and an Excel file, inducing procedural artifacts, and the appendix omits the neurotypical template despite claiming to reproduce both. Raw outputs, codebooks, batching, seeds and adjudication are absent; qualitative frequency ranges are LLM estimates rather than observed counts. Two autistic adults, 52 contested items and a selected 15-item subset surface useful examples involving Autism Speaks, autobiographical voice, reclaimed language and genuine ambiguity. They do not establish a systematic or representative pattern: rates, intervals, sampling, labels, reflections and adjudication traces are not released, kappa reporting is ambiguous, and v2 omits IRB, consent, recruitment and compensation information. The alignment-causality claim is not identified because model family, size, tuning, temperature and capability vary together without a controlled base model or alignment intervention. Model accounting is inconsistent: excluded LLaMA Guard supplies the strongest collapse example and excluded GPT-OSS later supports a model-size claim. Complete-case filtering may bias the persona contrast, but exclusions by model and condition, executable criteria and row IDs are unavailable. ROUGE, cosine and sentiment are not validated measures of autistic communicative authenticity. The inherited weighted ground truth averages normalized AQ, SATA and IAT scores from nine annotators; the underlying scores, weights and weighted labels are unreleased and validation is small and partly circular. Auditing all 2,400 public AUTALIC rows found 1,382 unanimous and 1,018 non-unanimous label triples. The current ZIP has 122 consecutive rows whose target and both contexts are blank while labels remain. A second repository contains all 2,400 targets, including the missing 122, but no contexts; all 2,278 nonblank targets and all 2,400 score triples match by row. Only 1,876 preceding contexts remain, versus 2,014 originally reported. Twenty-one targets exceed 100 words and the longest has 910, so the data are not uniformly sentences. Because the 2,120-row v2 manifest is not released, the effect of these defects is unknown. The arXiv record also changed identity: v1 was a different paper, Annotator Positionality as Signal, with a different title, abstract, authors and main study; v2 replaced it six days later under the same identifier. The arXiv page lists five authors while the v2 PDF credits six, including Hana Gabrielle Rubio Bidon; the PDF authorship is retained here. An anonymous ACL submission is indexed by OpenReview, but acceptance, reviews and supplements were not verified, so this remains a preprint. No paper-specific code, environment, model outputs, exclusion manifest, statistics pipeline, qualitative artifacts or human corpus is public. The defensible contribution is private-output evidence of a small lexical difference, a negligible affective contrast and useful compliance-failure examples. It does not establish semantic equivalence, autistic authenticity, alignment causality, failure prevalence, community representation or computational reproducibility.

Pregunta de investigación

¿Cambian la fidelidad léxica, la similitud semántica, el tono y los modos de fallo cuando distintos LLM reescriben discurso sobre autismo bajo una persona autista frente a una neurotípica, y puede atribuirse esa variación al alineamiento?

Método

Estudio de reescritura identitaria sobre un subconjunto privado de AUTALIC: diez modelos generan dos condiciones, siete entran en el corpus principal y el análisis conserva 13.274 pares completos. ROUGE, embeddings, sentimiento, Wilcoxon, bootstrap y r biserial evalúan diferencias. Tres LLM realizan codificación cualitativa y dos adultos autistas aportan una comparación exploratoria de 15 casos. La auditoría independiente cubre 54 páginas, TeX v1/v2, dos repositorios y las 2.400 filas públicas.

Muestra: El análisis cuantitativo declara 14.840 pares de siete modelos y retiene 13.274 casos completos. El análisis humano usa dos adultos autistas y 15 textos seleccionados de 52. El corpus público auditado contiene 2.400 filas, pero el manifest exacto de las 2.120 utilizadas no está disponible.

Hallazgos

  • Las reescrituras neurotípicas tienen ventajas pequeñas de ROUGE-1 (+0,019; r=0,21) y ROUGE-L (+0,017; r=0,20) entre los pares retenidos.
  • La diferencia de cosine es 0,001 con p=0,220; el resultado no prueba equivalencia semántica.
  • La diferencia afectiva entre personas es -0,010 con r=0,06, despreciable en magnitud práctica.
  • La similitud media de 0,66 entre condiciones no justifica describir la mayoría de salidas como casi idénticas.
  • Los ejemplos documentan marcadores de borrado, alucinación estereotipada y meta-comentario procedimental.
  • La comparación humana identifica casos plausibles donde los LLM pierden contexto comunitario o autobiográfico.
  • El ZIP público AUTALIC tiene 122 filas consecutivas completamente vacías en texto y 524 contextos precedentes ausentes.
  • Los dos repositorios AUTALIC preservan el mismo orden: coinciden los 2.278 objetivos disponibles y los 2.400 tríos de scores.
  • El identificador arXiv cambió de un paper v1 distinto al estudio v2 actual.
  • El pipeline y sus outputs no son reproducibles con los artefactos públicos.

Limitaciones

  • El constructo es reescritura condicionada por identidad, no comunicación autista auténtica.
  • No hay intervención controlada que identifique el alineamiento como causa.
  • Familia, tamaño, fine-tuning, temperatura y capacidad del modelo están confundidos.
  • Contabilidad contradictoria de modelos excluidos usados en claims posteriores.
  • Filtrado por casos completos sin conteos por condición ni análisis de missingness.
  • Prompt con razonamiento y Excel que induce artefactos procedimentales.
  • Plantilla neurotípica, outputs, seeds, parsing y exclusiones no publicados.
  • ROUGE, cosine y sentimiento no validan autenticidad autista.
  • p=0,220 interpretado indebidamente como equivalencia.
  • Frecuencias cualitativas estimadas por LLM sin conteos observados.
  • Dos participantes y 15 ítems seleccionados sin inferencia ni representatividad.
  • Kappa, muestreo, consentimiento, ética y compensación insuficientemente documentados.
  • Ground truth psicométrico ponderado no publicado y débilmente validado.
  • 122 filas de texto vacías y contextos faltantes en el corpus público.
  • Sin manifest que conecte el artefacto público con la muestra de 2.120.
  • Sin código específico, entorno, raw data, codebooks o resultados machine-readable.
  • Cambio material de identidad entre arXiv v1 y v2 y conflicto de autoría entre metadata y PDF.
  • Estatus de revisión por pares no verificado y repositorio upstream sin LICENSE.

Qué no demuestra

  • Comunicación, personalidad o cognición auténticamente autistas.
  • Representatividad de la comunidad autista.
  • Equivalencia semántica entre las dos condiciones.
  • Que la mayoría de reescrituras sean casi idénticas.
  • Que el alineamiento de seguridad cause las diferencias observadas.
  • Que tamaño o estrategia de alineamiento expliquen los fallos.
  • Prevalencia verificable de los modos de fallo cualitativos.
  • Validez del sentimiento como señal de sesgo anti-autista.
  • Fiabilidad del ground truth ponderado.
  • Generalización a otros textos, modelos, idiomas o comunidades.
  • Utilidad para moderación, clínica o representación de individuos autistas.
  • Reproducción independiente de tablas, figuras, exclusiones o análisis.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.26397v2, 19 pages; materially different v1, complete v1/v2 sources, final ACL 2025 AUTALIC paper, two upstream repository commits and all 2,400 released rows audited

Fuente consultada: https://arxiv.org/abs/2605.26397

Revisión: Codex 54-page visual, complete v1/v2 TeX, 2,400-row upstream data, construct, statistics, version, human evidence, ethics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • SmolLM2 135M
  • DeepSeek-R1 1.5B
  • Gemma 3 4B
  • Dolphin Mistral 7B
  • StarlingLM 7B
  • Dolphin LLaMA 3 8B
  • LLaMA Guard 3 8B
  • Mistral NeMo 12B
  • DeepSeek-R1 14B
  • GPT-OSS Safeguard 20B
  • Phi-4 Reasoning 14B
  • Magistral 24B
  • OpenThinker 32B

Instrumentos y métricas

  • ROUGE-1
  • ROUGE-L
  • all-mpnet-base-v2 cosine similarity
  • Twitter-RoBERTa sentiment
  • Paired Wilcoxon signed-rank test
  • 10,000-sample bootstrap confidence intervals
  • Rank-biserial correlation
  • Tesch inductive coding
  • Braun and Clarke reflexive thematic analysis
  • AQ, SATA and IAT psychometric weighting inherited from v1

Datos utilizados

  • AUTALIC: claimed 2,120-item analysis subset
  • AUTALIC: 283-item in-context example pool
  • Public AUTALIC artifact: 2,400 rows
  • Private rewrite corpus: 14,840 claimed and 13,274 retained pairs
  • Private human-disagreement corpus: 52 items
  • Private human comparison subset: 15 selected items

Evidencia y localización

  • Método, resultados, prompts, análisis humano y limitaciones del estudio actual: arXiv:2605.26397v2, 19 pages, sha256 563ff627aec0ad4be019f490a7a12148bb4a4149cd5ed84722f5fa18b1d76356
  • Cambio material de identidad del registro y ground truth psicométrico heredado: arXiv:2605.26397v1, 18 pages, sha256 c1ff23829cef92fec5b9913468d05783bf0ffc7f276052ee2cf87087000c9f3d
  • Diseño, muestreo y restricciones originales de AUTALIC: ACL 2025 long paper 2025.acl-long.1022, 17 pages, sha256 028fdc23ddfeff31d81b8b6c925f7615cf9569e95433724cce2dcfe6bd0cb47c
  • Integridad de las 2.400 filas, contextos, etiquetas y ausencia de licencia: github.com/nrizvi/AUTALIC commit de5933a16307bdc3134a1ee1e14077f2a0ffdef3, tree 1032169607ae147e2a4e53d14371b4855a3e1fae
  • Recuperación de los 122 objetivos ausentes y coincidencia fila a fila: github.com/nrizvi/AUTALIC-Agent commit 3d8a4eca6e2ee2d0a22e542222772c40bcba0efa, tree 8eb00041e7801ff9e9098c069bb0114a9c5a404e
  • Auditoría independiente completa de constructo, versiones, datos, estadística, ética y reproducibilidad: reports/verification/article-319-algorithmic-fragility-autistic-persona-construct-version-data-human-ethics-and-reproducibility-audit.json