Modeling Pathology-Like Behavioral Patterns in Language Models Through Behavioral Fine-Tuning

Inducción y control de rasgos2026arXivRevisión editorial aprobada

Autores: Nicola Milano, Davide Marocco

Palabras clave: Behavioral fine-tuning, Psychopathology-like behavior, LoRA, Psychometric probes, Distributional shift, AI safety

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
10
Hallazgos
20
Limitaciones
5
Evidencias

Resumen editorial

Español

Este preprint estudia si un ajuste supervisado que obliga a elegir acciones sintéticas «maladaptativas» cambia las distribuciones de salida de dos LLM más allá de la tarea de entrenamiento. La formulación debe mantenerse en el nivel observado: el experimento induce sesgos de respuesta parecidos a depresión o paranoia según las etiquetas de los autores; no induce ni diagnostica trastornos mentales y no demuestra cognición, personalidad o experiencia subjetiva. gpt-oss-20B genera dos conjuntos privados de 1.000 ejemplos, uno inspirado en criterios DSM-5 de trastorno depresivo mayor y otro en trastorno paranoide de la personalidad, rotados por 20 dominios. El texto primero describe un escenario con una opción adaptativa y otra maladaptativa, pero después afirma que el entrenamiento presenta cuatro elecciones, dos de cada clase, y una única etiqueta entera. No explica cuál de las dos opciones de la clase objetivo se selecciona, si las posiciones se barajan o si las etiquetas están equilibradas; sin los datos no puede descartarse aprendizaje posicional o de plantilla. Se entrenan adaptadores LoRA para Llama-3-8B-Instruct y Qwen-2.5-14B-Instruct en NF4 de 4 bits, rango y alpha 16, batch efectivo 8, tasa 2×10⁻⁴, tres épocas y unos 375 pasos. El target es solo el índice numérico de la acción, con el prompt enmascarado en la pérdida. También se entrena un comparador «sano» para elegir acciones adaptativas y, en Qwen, controles que eligen al azar o por negatividad genérica. Este detalle cambia la lectura causal: la mayoría de contrastes no compara un modelo original con uno inducido, sino dos adaptadores optimizados en direcciones opuestas. La evaluación usa diez inicios de frase RISB y diez inicios factuales, continuaciones de un token, divergencia KL/Jensen-Shannon y mapas de los diez tokens principales. Además transforma BDI, GPTS y DASS, instrumentos para humanos no validados en agentes artificiales, en probes de elección forzada. En lugar de observar la respuesta libre, vuelve a normalizar el softmax únicamente entre tokens de índice válidos y suma los asignados a respuestas graves. Esa «masa de probabilidad» es condicional a que el modelo elija uno de esos tokens; elimina por construcción rechazos y cualquier otra salida y no equivale a la probabilidad incondicional de una patología o a un score clínico. En los resultados de depresión, la divergencia sobre RISB es KL 0,88/JSD 0,19 para Llama y KL 1,10/JSD 0,23 para Qwen, frente a 0,50/0,13 y 0,35/0,10 en inicios factuales. Para paranoia, los valores RISB son 0,83/0,18 y 1,44/0,27, frente a 0,22/0,06 y 0,36/0,11. Esto documenta que los adaptadores sano y maladaptativo asignan probabilidades distintas, con una separación mayor en los prompts psicológicos privados. No prueba que el cambio sea global: los inicios factuales también cambian y solo hay diez prompts por categoría. En la tabla de controles de Qwen, el adaptador sano obtiene BDI 0,13 y GPTS 0,15; el depresivo 0,88 y 0,26; el paranoide 0,23 y 0,92; el aleatorio 0,32 y 0,36; y el negativo 0,82 y 0,66. La diferenciación entre los dos adaptadores dirigidos es más clara que en el control negativo, pero el control solo se publica para Qwen, no mide capacidad general y depende de la normalización restringida. El texto dice que el perfil depresivo supera 0,95, mientras la tabla Qwen informa 0,88 [0,80, 0,96], una inconsistencia entre narración y tabla. La estadística tampoco es reproducible. Los intervalos usan t con N=10, pero no se publican prompts ni valores individuales. El método dice unir los top 1.000 tokens y aplicar softmax; los resultados lo llaman alternativamente vocabulario completo y top 1.000. Se reporta repetidamente Wilcoxon p<0,001 con diez pares. En un Wilcoxon bilateral exacto convencional con diez diferencias no nulas, el mínimo posible es 2/2¹⁰=0,001953; por tanto el umbral declarado no puede proceder de ese test exacto. No se da estadístico, alternativa, tratamiento de empates, aproximación, fórmula de Cohen d ni familia Bonferroni. La afirmación de especificidad estadística queda sin verificar. La comparación con prompting consiste en ejemplos cualitativos de Qwen instruido para «actuar paranoico»: el base añade disclaimers y el fine-tuned no. No hay conjunto emparejado, métricas, tasas, seeds ni resultado Llama, así que no establece mayor persistencia o coherencia que el role-play. La introducción promete evaluación adversarial de seguridad, pero los resultados no contienen benchmark, ataques, tasa de rechazo, harmfulness ni retención de capacidades. La ausencia de disclaimers y el aumento de lenguaje persecutorio o desesperanzado sí señalan un riesgo plausible, precisamente no medido. BDI, GPTS, DASS y RISB son probes artificiales, no evidencia clínica. El generador sintético puede codificar estereotipos; no hay clínicos, pacientes, validación humana, acuerdo interanotador ni evaluación ecológica. El paper además mezcla trastorno depresivo mayor, trastorno paranoide de la personalidad, paranoia genérica, interpretaciones persecutorias y lenguaje «delirante», constructos clínicos no intercambiables. Los autores reconocen que no inspeccionan activaciones ni representaciones internas. Cambiar probabilidades después de fine-tuning es evidencia de plasticidad conductual esperable, no de «priors» latentes, semántica corporeizada, red semántica, dual consciousness o arquitectura cognitiva. El paquete público contiene 22 páginas, TeX, bibliografía y 13 imágenes, pero no datos, prompts, código, adapters, checkpoints, logs, logits, valores por prompt o análisis. La cita usada para gpt-oss-20B apunta al informe técnico de GPT-4 y no identifica checkpoint ni configuración. No se encontró repositorio oficial por título, ID o autores. La contribución defendible es mostrar, dentro de un pipeline privado, que SFT categórico sobre elecciones sintéticas produce shifts de next-token y perfiles parcialmente disociables en probes relacionados. No demuestra psicopatología, mecanismo interno, validez clínica, ventaja controlada frente a prompting, seguridad, conservación de capacidades ni reproducibilidad independiente.

English

This preprint asks whether supervised fine-tuning that forces synthetic maladaptive action choices changes two LLMs' output distributions beyond the training task. The claim must remain behavioral: the experiment induces response biases labeled depression-like or paranoia-like by the authors; it does not induce or diagnose a mental disorder and does not demonstrate cognition, personality, or subjective experience. gpt-oss-20B generates two private 1,000-example datasets inspired by DSM-5 criteria for Major Depressive Disorder and Paranoid Personality Disorder across 20 domains. The paper first describes one adaptive and one maladaptive option, then says training uses four choices, two of each class, with a single integer target. It does not explain which same-class option is targeted, whether positions are shuffled, or whether labels are balanced. Without data, positional or template learning cannot be excluded. NF4 4-bit LoRA adapters are trained for Llama-3-8B-Instruct and Qwen-2.5-14B-Instruct with rank and alpha 16, effective batch 8, learning rate 2e-4, three epochs, and about 375 steps. The target is only the action index, with instruction tokens masked from loss. A separate healthy comparator is trained to select adaptive options; Qwen also receives random-choice and generic-negativity controls. Most quantitative contrasts therefore compare two oppositely optimized adapters, not the original model against one induced adapter. Evaluation uses ten RISB sentence stems and ten factual stems, single-token continuations, KL/Jensen-Shannon divergence, and top-10 heatmaps. BDI, GPTS, and DASS, human instruments not validated for artificial agents, are converted into forced-choice probes. Softmax is re-normalized only among valid answer-index tokens and severe-option mass is summed. This score is conditional on selecting one of those tokens; it removes refusals and all other outputs by construction, so it is neither an unconditional pathology probability nor a clinical score. For depression, reported RISB divergence is KL .88/JSD .19 for Llama and 1.10/.23 for Qwen, versus .50/.13 and .35/.10 on factual stems. For paranoia, RISB values are .83/.18 and 1.44/.27, versus .22/.06 and .36/.11. These results show that healthy and maladaptive adapters assign different probabilities, with larger separation on the private psychological stems. They do not prove a global shift: factual prompts also change and each category has only ten prompts. In the Qwen control table, healthy scores BDI .13 and GPTS .15; depressed .88 and .26; paranoid .23 and .92; random .32 and .36; and generic negative .82 and .66. The targeted adapters are more differentiated than generic negativity under these probes, but controls are Qwen-only, do not measure general ability, and inherit restricted-token normalization. Prose claims the depressed profile exceeds .95 while the Qwen table reports .88 [.80, .96]. Statistics are not reproducible. Confidence intervals use a t distribution at N=10, but prompts and individual values are absent. The method says it unions the top 1,000 tokens and applies softmax, while results alternately call this the full vocabulary and top 1,000. Wilcoxon p<.001 is repeatedly reported for ten pairs. Under a conventional two-sided exact Wilcoxon test with ten nonzero differences, the smallest possible p-value is 2/2^10=.001953, so the stated threshold cannot come from that exact test. Test statistics, alternative, ties, approximation, Cohen's d formula, and the Bonferroni family are unspecified. The prompting comparison is anecdotal: base Qwen prompted to act paranoid includes disclaimers, while the fine-tuned model does not. There is no matched prompt set, metric, rate, seed, or Llama result, so persistence and superiority over role-play are not established. The introduction promises adversarial safety evaluation, but results contain no benchmark, attacks, refusal rate, harmfulness score, or capability-retention test. Removal of disclaimers and increased persecutory or hopeless language indicate an important plausible risk that remains unmeasured. The synthetic generator may encode stereotypes; no clinicians, patients, human validation, inter-rater agreement, or ecological evaluation are included. The paper also conflates MDD, Paranoid Personality Disorder, generic paranoia, persecutory interpretation, and delusion-like language. The authors acknowledge that activations and internal representations are not examined. Changed probabilities after fine-tuning demonstrate expected behavioral plasticity, not latent priors, embodied semantics, a semantic network, dual consciousness, or a cognitive architecture. The public package contains the 22-page paper, TeX, bibliography, and 13 images, but no data, prompts, code, adapters, checkpoints, logs, logits, per-prompt values, or analysis. The gpt-oss-20B citation points to the GPT-4 Technical Report and does not identify a checkpoint or configuration. No official repository was found by title, arXiv ID, or authors. The defensible contribution is private-pipeline evidence that categorical SFT on synthetic choices shifts next-token probabilities and produces partly dissociable scores on related probes. It does not establish psychopathology, an internal mechanism, clinical validity, controlled superiority over prompting, safety, preserved capabilities, or independent reproducibility.

Pregunta de investigación

¿Puede el fine-tuning supervisado para seleccionar acciones sintéticas inspiradas en patrones depresivos o paranoides producir cambios de distribución y respuestas diferenciables fuera de la tarea categórica, frente a controles adaptativos, aleatorios y negativos?

Método

Dos datasets sintéticos privados de 1.000 ejemplos, generados con gpt-oss-20B a partir de criterios DSM-5, entrenan adapters LoRA NF4 de Llama-3-8B-Instruct y Qwen-2.5-14B-Instruct para emitir índices de acciones. Se comparan adapters maladaptativos y adaptativos mediante 10 stems RISB, 10 stems factuales, KL/JSD, heatmaps top-token y masa condicional sobre respuestas de BDI, GPTS y DASS. Qwen añade controles aleatorio y negativo y una comparación cualitativa con prompting.

Muestra: Dos arquitecturas y adapters separados por condición; los análisis de divergencia declaran N=10 prompts por categoría. La tabla de controles es solo Qwen. No se publican filas, prompts, seeds, valores individuales ni número exacto de ítems administrados en cada probe psicométrico.

Hallazgos

  • Los adapters adaptativo y maladaptativo muestran divergencias de next-token mayores en RISB que en stems factuales.
  • El perfil Qwen depresivo obtiene BDI condicional 0,88 y GPTS 0,26; el paranoide 0,23 y 0,92.
  • El control negativo también sube BDI a 0,82 y GPTS a 0,66, mostrando un componente fuerte de negatividad genérica.
  • Los perfiles dirigidos son más disociables que el control negativo bajo los probes privados de Qwen.
  • Los prompts factuales también cambian, por lo que no hay aislamiento completo a dominios psicológicos.
  • La narrativa >0,95 para depresión no coincide con el 0,88 de la tabla Qwen.
  • La comparación con role-play solo ofrece ejemplos cualitativos de Qwen.
  • El paper no publica ningún artefacto ejecutable ni datos para reproducir los resultados.
  • El p<0,001 declarado para diez pares no es alcanzable por un Wilcoxon bilateral exacto convencional.
  • La evidencia observa plasticidad de salidas, no cambios internos medidos.

Limitaciones

  • Datos sintéticos basados en DSM, sin pacientes, clínicos o validación humana.
  • Mezcla de MDD, trastorno paranoide de personalidad, paranoia y lenguaje delirante.
  • Opciones de entrenamiento descritas de forma inconsistente como dos y cuatro.
  • Sin aleatorización de posición, balance de etiquetas o reglas de selección documentadas.
  • Baseline sano también fine-tuned, no modelo original sin intervención.
  • Generador gpt-oss-20B citado con el informe de GPT-4 y sin checkpoint/configuración.
  • BDI, GPTS, DASS y RISB no validados para agentes artificiales.
  • Softmax re-normalizado solo sobre tokens válidos, excluyendo toda respuesta libre o rechazo.
  • Inconsistencia entre top 1.000 tokens y vocabulario completo.
  • Solo diez prompts por comparación, sin textos ni valores individuales.
  • Wilcoxon p<0,001 incompatible con el mínimo exacto bilateral para N=10.
  • Sin estadísticos, alternativa, empates, fórmula de d o familia de corrección.
  • Heatmaps de valencia sin lexicón, anotación o clasificador reproducible.
  • Control random/negativo y tabla de especificidad solo para Qwen.
  • Sin pruebas de capacidad general, olvido o degradación fuera del dominio.
  • Comparación con prompting anecdótica y no emparejada.
  • Sin evaluación adversarial de seguridad pese a anunciarla.
  • Sin análisis de activaciones, representaciones o mecanismo causal interno.
  • Sin datos, código, prompts, adapters, checkpoints, logs, logits o resultados raw.
  • Sin evaluación de self-harm, refuerzo de delirios, usuarios vulnerables o reversibilidad.

Qué no demuestra

  • Depresión, paranoia o cualquier trastorno mental en un LLM.
  • Diagnóstico, validez clínica o fidelidad a pacientes.
  • Personalidad, experiencia subjetiva o dual consciousness.
  • Cambio de representaciones internas o priors latentes medidos.
  • Semántica corporeizada o arquitectura cognitiva humana.
  • Generalización amplia a contextos realmente no relacionados.
  • Superioridad frente a prompting bajo una comparación controlada.
  • Especificidad robusta en ambas arquitecturas.
  • Conservación de capacidades generales o alineamiento.
  • Seguridad para interacción con usuarios vulnerables.
  • Corrección de p-values, intervalos o effect sizes.
  • Reproducción independiente de entrenamiento o evaluación.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.22356v1, 22 pages; complete TeX source, artifact search and independent construct, baseline, probability-mass, statistics, safety and reproducibility audit

Fuente consultada: https://arxiv.org/abs/2605.22356

Revisión: Codex 22-page visual, complete TeX, construct, baseline, probability normalization, exact-statistics, artifact, safety and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • gpt-oss-20B as synthetic data generator
  • Llama-3-8B-Instruct
  • Qwen-2.5-14B-Instruct
  • Healthy adaptive LoRA adapters
  • Depression-like LoRA adapters
  • Paranoia-like LoRA adapters
  • Qwen random-choice control
  • Qwen generic-negative control

Instrumentos y métricas

  • Rotter Incomplete Sentence Blank one-token stems
  • Unrelated factual one-token stems
  • Kullback-Leibler divergence
  • Jensen-Shannon divergence
  • Top-10 token valence heatmaps
  • Restricted-token conditional probability mass
  • Beck Depression Inventory probe
  • Green et al. Paranoid Thought Scales probe
  • Depression Anxiety and Stress Scale probe
  • Wilcoxon signed-rank test
  • Cohen's d
  • t-based confidence intervals

Datos utilizados

  • Private synthetic depression-like action-choice dataset: 1,000 examples
  • Private synthetic paranoia-like action-choice dataset: 1,000 examples
  • Private adaptive action-choice comparator dataset
  • Private Qwen random-choice and generic-negative control datasets
  • Private evaluation set: 10 RISB stems and 10 factual stems
  • Private model-facing BDI, GPTS and DASS prompts and token mappings

Evidencia y localización

  • Método, resultados, tablas, figuras, discusión y limitaciones: arXiv:2605.22356v1, 22 pages, sha256 f13b148b14c5b06608076025a99110f46ce992b895360225bd9696ed36ef9419
  • Texto, fórmulas, referencias y ausencia de artefacto ejecutable en el paquete: arXiv source v1, sha256 f3a77ebd54f8119e859c27405a8e03ca626d7bc3583b10320cf22e3e06c8c756; main TeX sha256 858745fe3f574bef032169db63c48da47140c863f9f1a0f3f9253fe456c8c23e
  • Límite exacto de Wilcoxon bilateral con diez pares: Independent enumeration: minimum two-sided exact probability 2/2^10 = 0.001953125; scipy exact all-positive paired differences confirms p=0.001953125
  • Ausencia de repositorio o artefacto oficial: Exact-title, arXiv-ID, author, GitHub and Hugging Face searches completed 2026-07-17
  • Auditoría independiente de constructo, baseline, normalización, estadística, seguridad y reproducibilidad: reports/verification/article-321-pathology-construct-baseline-probability-mass-statistics-safety-and-reproducibility-audit.json