Algorithmic Fragility and Persona Bias in LLM-Generated Autistic Communication

This arXiv preprint examines how ten locally run models rewrite Reddit discourse about autism under an autistic or neurotypical persona instruction. The construct must be bounded carefully: it measures model response to an identity-conditioned rewrite prompt, not authentic autistic communication, cognition, or personality. The study claims a 2,120-item AUTALIC subset plus 283 in-context examples. Ten rewrite models range from 135M to 20B parameters; SmolLM2 and GPT-OSS Safeguard are excluded for invalid output and LLaMA Guard 3 for a two-token vocabulary. Seven models times 2,120 items yield a stated 14,840 rewrite pairs, reduced by complete-case filtering to 13,274. Ollama settings are heterogeneous, with temperatures from 0 to 1. Source fidelity is measured with ROUGE-1, ROUGE-L and all-mpnet-base-v2 cosine similarity, and affect with Twitter-RoBERTa. Paired Wilcoxon tests, 10,000 bootstrap resamples and rank-biserial correlations are reported. Phi-4 Reasoning, Magistral and OpenThinker provide LLM-assisted qualitative coding. Among retained pairs, neurotypical rewrites score 0.019 higher on ROUGE-1 (p=4.33e-20, 95% CI 0.015-0.024, r=.21) and 0.017 higher on ROUGE-L (p=3.96e-19, CI 0.012-0.021, r=.20). These are small lexical effects detected in a large paired sample. The cosine difference is 0.001 with p=.220; failure to reject a difference is not statistical equivalence because no margin or equivalence test is specified. Both conditions shift sentiment about +0.30 from source. Their between-persona difference is -0.010 (p=.0036, CI -0.017 to -0.003, r=.06), detectable but practically negligible. Mean cross-persona similarity is reported as .66 and described as near-identical. That wording is unsupported: .66 does not establish identity, and the .991 extreme comes from the excluded two-token LLaMA Guard output. Qualitative examples plausibly show placeholder erasure, stereotyped hallucination and procedural meta-commentary. Their prevalence and cause remain unverified. The prompt itself requests reasoning and an Excel file, inducing procedural artifacts, and the appendix omits the neurotypical template despite claiming to reproduce both. Raw outputs, codebooks, batching, seeds and adjudication are absent; qualitative frequency ranges are LLM estimates rather than observed counts. Two autistic adults, 52 contested items and a selected 15-item subset surface useful examples involving Autism Speaks, autobiographical voice, reclaimed language and genuine ambiguity. They do not establish a systematic or representative pattern: rates, intervals, sampling, labels, reflections and adjudication traces are not released, kappa reporting is ambiguous, and v2 omits IRB, consent, recruitment and compensation information. The alignment-causality claim is not identified because model family, size, tuning, temperature and capability vary together without a controlled base model or alignment intervention. Model accounting is inconsistent: excluded LLaMA Guard supplies the strongest collapse example and excluded GPT-OSS later supports a model-size claim. Complete-case filtering may bias the persona contrast, but exclusions by model and condition, executable criteria and row IDs are unavailable. ROUGE, cosine and sentiment are not validated measures of autistic communicative authenticity. The inherited weighted ground truth averages normalized AQ, SATA and IAT scores from nine annotators; the underlying scores, weights and weighted labels are unreleased and validation is small and partly circular. Auditing all 2,400 public AUTALIC rows found 1,382 unanimous and 1,018 non-unanimous label triples. The current ZIP has 122 consecutive rows whose target and both contexts are blank while labels remain. A second repository contains all 2,400 targets, including the missing 122, but no contexts; all 2,278 nonblank targets and all 2,400 score triples match by row. Only 1,876 preceding contexts remain, versus 2,014 originally reported. Twenty-one targets exceed 100 words and the longest has 910, so the data are not uniformly sentences. Because the 2,120-row v2 manifest is not released, the effect of these defects is unknown. The arXiv record also changed identity: v1 was a different paper, Annotator Positionality as Signal, with a different title, abstract, authors and main study; v2 replaced it six days later under the same identifier. The arXiv page lists five authors while the v2 PDF credits six, including Hana Gabrielle Rubio Bidon; the PDF authorship is retained here. An anonymous ACL submission is indexed by OpenReview, but acceptance, reviews and supplements were not verified, so this remains a preprint. No paper-specific code, environment, model outputs, exclusion manifest, statistics pipeline, qualitative artifacts or human corpus is public. The defensible contribution is private-output evidence of a small lexical difference, a negligible affective contrast and useful compliance-failure examples. It does not establish semantic equivalence, autistic authenticity, alignment causality, failure prevalence, community representation or computational reproducibility.

Este preprint estudia cómo diez modelos locales reescriben fragmentos de Reddit sobre autismo cuando reciben una persona «autista» o «neurotípica». Es importante delimitar el constructo: el experimento mide la respuesta de modelos a una instrucción identitaria de reescritura, no la comunicación auténtica, la cognición ni la personalidad de personas autistas. Los autores parten de AUTALIC, un corpus previo de discurso sobre autismo anotado por tres personas por fila, y afirman usar 2.120 textos para clasificación y reescritura, más 283 ejemplos para in-context learning. Prueban diez modelos de 135M a 20B parámetros; SmolLM2 y GPT-OSS Safeguard se excluyen por salidas inválidas y LLaMA Guard 3 por producir un vocabulario de solo dos tokens. El cálculo principal se describe como siete modelos por 2.120 textos, 14.840 pares de reescrituras, reducido por casos completos a 13.274 pares. La generación usa Ollama y temperaturas heterogéneas: 0 para LLaMA Guard 3, 1 para Gemma 3 y GPT-OSS, y aproximadamente 0,8 para los demás. La fidelidad al texto fuente se estima con ROUGE-1, ROUGE-L y similitud coseno de all-mpnet-base-v2; el cambio afectivo, con Twitter-RoBERTa. Se aplican Wilcoxon pareado, 10.000 remuestreos bootstrap y correlaciones biseriales por rangos. Tres modelos adicionales, Phi-4 Reasoning, Magistral y OpenThinker, actúan como codificadores cualitativos y Magistral sintetiza sus análisis. En las salidas retenidas, las reescrituras neurotípicas superan a las autistas en 0,019 de ROUGE-1 (p=4,33×10⁻²⁰; IC95% 0,015-0,024; r=0,21) y 0,017 de ROUGE-L (p=3,96×10⁻¹⁹; IC95% 0,012-0,021; r=0,20). Son diferencias léxicas pequeñas, detectables con una muestra pareada muy grande. La diferencia de similitud semántica es 0,001 con p=0,220: esto es un fallo al rechazar diferencia cero, no una demostración de equivalencia estadística, porque no se define margen ni se usa TOST u otra prueba de equivalencia. Ambas condiciones desplazan el sentimiento alrededor de +0,30 frente al original; la diferencia entre personas es -0,010 (p=0,0036; IC95% -0,017 a -0,003; r=0,06), estadísticamente detectable pero prácticamente insignificante. El artículo informa una similitud media de 0,66 entre las dos reescrituras de cada texto y la describe como casi idéntica. Esa formulación es excesiva: 0,66 no implica identidad y el valor extremo de 0,991 procede de LLaMA Guard, precisamente excluido porque actúa como clasificador de dos tokens. Los ejemplos cualitativos sí documentan fallos plausibles: Mistral NeMo sustituye contenido por marcadores, Dolphin Mistral inventa transformaciones estereotipadas y Gemma o DeepSeek producen encabezados y explicaciones procedimentales en lugar de la reescritura. Sin embargo, el prompt pide razonamiento y guardar un archivo Excel, por lo que induce parte de esos tokens procedimentales; el apéndice tampoco reproduce la plantilla neurotípica pese a afirmar que incluye ambas. Los raw outputs, codebooks, lotes, semillas y reglas de adjudicación no están publicados. Las frecuencias de fallos son estimaciones aproximadas de LLM, no conteos observados verificables. La comparación humana incorpora dos adultos autistas, un corpus disputado de 52 textos y una selección de 15. Los ejemplos sobre Autism Speaks, voz autobiográfica, lenguaje reapropiado y ambigüedad aportan hipótesis valiosas sobre errores de los clasificadores. No permiten afirmar un patrón sistemático o representativo: no se publican tasas, intervalos, muestreo, labels, reflexiones ni trazas de adjudicación, y la redacción sobre kappa es internamente ambigua. La versión v2 tampoco informa revisión ética, consentimiento, reclutamiento o compensación de esos participantes. El estudio atribuye la fragilidad a estrategias de alineamiento, pero el diseño no identifica esa causa: compara familias, tamaños, fine-tunings, temperaturas y capacidades distintas, sin un modelo base prealineamiento, una intervención de alineamiento ni pares de arquitectura controlados. También hay incoherencias en la contabilidad de modelos: LLaMA Guard se excluye del corpus principal y luego ofrece la evidencia más fuerte de colapso; GPT-OSS se excluye por invalidez y después sustenta una afirmación sobre el modelo mayor. El filtrado por casos completos puede sesgar la diferencia si una persona falla más, pero faltan conteos por modelo/condición, reglas ejecutables e IDs. ROUGE, cosine y sentimiento miden proximidad léxica, semántica y polaridad, no autenticidad comunicativa autista. La base ponderada heredada de la v1 promedia por igual AQ, SATA e IAT normalizados en una muestra de nueve anotadores; no se publican puntuaciones, pesos ni labels ponderados y su validación es pequeña y parcialmente circular. La auditoría del artefacto AUTALIC encuentra 2.400 filas y confirma 1.382 acuerdos unánimes y 1.018 no unánimes, pero el ZIP actual contiene 122 filas consecutivas con texto objetivo y contextos completamente vacíos aunque conserva las etiquetas. Un segundo repositorio contiene los 2.400 objetivos, incluidos los 122 ausentes, pero no sus contextos. Las 2.278 cadenas no vacías y los 2.400 tríos de puntuaciones coinciden fila a fila entre repositorios. Hay además 138 contextos precedentes vacíos; solo 1.876 de 2.400 están presentes, frente a 2.014 declarados en el paper original. Veintiún objetivos superan 100 palabras y el mayor alcanza 910, por lo que no son uniformemente «oraciones». No se publica el mapeo de las 2.120 filas usadas en v2, así que no puede saberse si estos defectos afectaron al análisis. El registro arXiv requiere una advertencia excepcional: v1 era un paper distinto, «Annotator Positionality as Signal», con otro título, abstract, autoría y estudio; seis días después v2 reemplazó su identidad manteniendo el mismo identificador. La página arXiv muestra cinco autores, mientras el PDF v2 acredita seis e incluye a Hana Gabrielle Rubio Bidon; esta ficha conserva la autoría del PDF. Una submission anónima aparece indexada en OpenReview, pero no se verificó aceptación, revisiones públicas ni suplemento: debe citarse como preprint. No existe repositorio específico del paper, entorno, código de generación, outputs, manifest de exclusiones, cálculos estadísticos, análisis cualitativo ni corpus humano. Los repositorios públicos corresponden al corpus previo y a un chatbot Qwen no relacionado con el pipeline de v2. Por tanto, la contribución defendible es evidencia privada de una diferencia léxica pequeña entre reescrituras identitarias retenidas, un efecto afectivo despreciable y ejemplos útiles de fallos de cumplimiento. No demuestra equivalencia semántica, autenticidad autista, causalidad del alineamiento, prevalencia de los fallos, representación de la comunidad autista ni reproducibilidad computacional.