Persona-Model Collapse in Emergent Misalignment

El trabajo propone una explicación para la desalineación emergente: ajustar un LLM con ejemplos de código inseguro no solo podría reponderar arquetipos oscuros, sino deteriorar el supuesto mecanismo con el que representa, diferencia y mantiene personajes. Los autores llaman a esta hipótesis persona-model collapse. La prueban de forma exclusivamente conductual con el MFQ-30, un cuestionario de fundamentos morales de 30 ítems en escala 0-5. Cada modelo responde como 100 personas fijas, con diez repeticiones por persona e ítem a temperatura 0,1. La susceptibilidad moral S es la media, entre preguntas, de la desviación entre las respuestas medias de las personas; la robustez moral R es el inverso de la desviación media dentro de cada celda persona-pregunta. S alta si las personas se separan más y R cae si las repeticiones del mismo rol son menos estables.

El diseño compara DeepSeek-V3.1, GPT-4.1, GPT-4o y Qwen3-235B en tres estados: base, fine-tune con 6.000 ejemplos de código inseguro y control emparejado con 6.000 ejemplos seguros. DeepSeek y Qwen se ajustan mediante Tinker con LoRA rank 32, learning rate 2e-4, batch 4, una época y longitud 4096; los GPT usan el API de OpenAI con una época, batch 4 y multiplicador de learning rate 2. Los autores también aplican ocho prompts abiertos de desalineación, 30 veces cada uno, y GPT-4o puntúa alineamiento y coherencia. Como apoyo, comparan perfiles MFQ sin rol y ocho personas tóxicas explícitas generadas con GPT-5.4.

Las cifras centrales pueden recalcularse desde los CSV publicados actualmente. Frente a base, S sube 11% en DeepSeek, 37% en GPT-4.1, 112% en GPT-4o y 61% en Qwen: media aritmética 55,1%. Los controles seguros cambian S en +6%, -20%, -9% y +2%, media -5,4%, por lo que el contraste de S sí está claramente asociado al conjunto inseguro en tres de las cuatro familias. R cae 35%, 66%, 69% y 88%, media 64,5%; expresado como su inverso, la desviación interna media aumenta 303,7% y alcanza 744,5% en Qwen. Pero el control seguro ya reduce R 36%, 54%, 43% y 77%, media 52,4%. El exceso inseguro sobre seguro en la escala R es solo +0,5, -12,6, -25,7 y -10,7 puntos porcentuales. Por tanto, S es la señal específica más limpia; la mayor parte de la caída media de R también ocurre con fine-tuning seguro.

Los perfiles sin persona se desplazan hacia puntuaciones altas en las cinco dimensiones tras el ajuste inseguro. La saturación es muy clara en GPT-4o y DeepSeek, y más parcial en GPT-4.1 y Qwen. Las ocho personas tóxicas no producen ese mismo patrón: reducen sobre todo Harm/Care y Fairness y elevan dimensiones vinculantes como Loyalty o Authority. Es un control útil contra una versión simple de “el modelo se convirtió en un personaje tóxico explícito”, pero no descarta reponderación de otros arquetipos latentes ni sensibilidad al prompt. No hay un test inferencial asociado al uso de “significativamente” en esa comparación.

La verificación de desalineación tiene una contradicción importante. El repositorio define como criterio canónico media de alineamiento <50 y coherencia >60. Según la tabla, solo GPT-4.1-insecure lo cumple: 41,9 y 80,1. GPT-4o-insecure obtiene 67,7 y 95,8; Qwen 61,0 y 51,2; DeepSeek 55,0 y 7,4. Todos degradan alguna dimensión respecto de base, pero la frase “los cuatro muestran desalineación emergente clara” no sigue de la propia regla. En DeepSeek se excluyen casi todas las salidas CODE/REFUSAL y quedan solo 18 de 240 para el promedio, así que su 55,0 de alineamiento está fuertemente seleccionado. El repositorio no publica las respuestas abiertas ni los juicios; el JSON actual copia los números de la tabla del paper y no es una reproducción independiente.

La auditoría de los CSV descubre otro conflicto directo. El apéndice afirma que DeepSeek-insecure tuvo ≤0,01 intentos fallidos por casilla; el fichero registra 29.627 fallos en 30.000 casillas, media 0,9876. El protocolo reintenta hasta obtener un dígito y sobrescribe la respuesta rechazada, de modo que la métrica está condicionada a cumplimiento eventual y ya no permite ver qué produjo el primer intento. GPT-4o-insecure sí coincide con la tasa declarada de 0,54: 16.150 fallos. GPT-4o-secure registra 469 fallos y conserva 15 ratings -1; alguna celda queda con solo dos repeticiones válidas. Qwen-base tiene 30.035 filas: las siete primeras preguntas de la primera persona tienen 15 repeticiones. Limitarlo a diez apenas cambia S y R, pero contradice el n fijo.

También hay confusión de backend y tiempo. Las bases DeepSeek y Qwen se muestrean por OpenRouter, mientras sus fine-tunes se sirven con Tinker. Un control posterior del mismo Qwen base muestra S casi idéntica entre OpenRouter y Tinker, 0,898 y 0,896, pero R cambia de 20,75 a 38,77, prueba de que R es muy sensible al stack de inferencia. Las bases GPT y DeepSeek fueron recogidas cuatro o cinco meses antes que sus variantes y con aliases mutables sin IDs de respuesta conservados. Esto no explica por sí solo los grandes efectos, pero impide atribuirlos únicamente a pesos.

La validez de constructo es el límite decisivo. S no tiene un perfil objetivo correcto para cada persona: más dispersión puede significar diferenciación más fuerte, exageración, polarización a extremos, sensibilidad o fallo. R es el inverso de variación estocástica en una escala ordinal a una sola temperatura, no una lectura directa de coherencia identitaria. Además, el rango de referencia 0,66-0,83 no es un umbral validado: el propio Qwen base tiene S=0,898 y otros dos modelos base citados también lo superan; DeepSeek-insecure queda por debajo de Qwen-base, Grok 4 Fast y Gemini 2.5 Flash. Las ecuaciones tampoco coinciden exactamente con el código: el texto define varianza poblacional con divisor |P|, pero pandas usa ddof=1; y el paper dice bootstrap de personas, mientras el pipeline añade bootstrap de repeticiones y combina errores en cuadratura. Los puntos publicados siguen el código.

El repositorio posterior al paper aporta evidencia adicional honesta. Una réplica BFI-44 para GPT-4o repite el patrón: R 16,38 base, 7,13 seguro y 3,82 inseguro; S 0,627, 0,635 y 1,178. Un control trivial de lookup logra 300/300 dígitos correctos en GPT-4o base, seguro e inseguro. Este último descarta incapacidad gruesa para devolver un número, no inestabilidad semántica al sostener una persona, y no cubre las otras familias. Ambos experimentos son de julio y no forman parte de arXiv v2.

La reproducibilidad actual es mixta. El pipeline estadístico reproduce los números si se le entregan manualmente los 12 CSV, y todo el Python inspeccionado compila. Pero el snapshot público del 24 de mayo no contenía ningún data/ ni results/ pese a que el paper decía que código y datos estaban disponibles. El checkout actual ya contiene los CSV, pero la guía afirma búsqueda recursiva donde el código hace un glob plano; el submódulo no registra los fine-tunes. Ejecutar el flujo documentado hace que plot_bar omita las cuatro familias y que plot_dr_dcoherence falle con un vector vacío. Tampoco hay tests, CI, lockfile, contenedor o licencia raíz. Faltan respuestas rechazadas, raw de verificación, outputs del juez, IDs de proveedor y configs exactas de sampling.

La lectura fiel es que el estudio descubre un patrón grande y reproducible de dispersión de ratings tras el ajuste inseguro, con un contraste S convincente en tres familias y una réplica posterior en otro cuestionario para GPT-4o. Sirve como diagnóstico conductual potencial. No demuestra que exista ni que colapse una maquinaria interna de persona, no valida S o R como medidas directas de esa maquinaria y no confirma desalineación según su propia regla en tres de cuatro modelos. “Persona-model collapse” debe leerse como hipótesis interpretativa que requiere activaciones, probes de identidad, targets de fidelidad de persona, controles de backend y un pipeline de resultados trazable.

The paper proposes an explanation for emergent misalignment: fine-tuning an LLM on insecure code may not merely reweight dark archetypes but may degrade the machinery presumed to represent, differentiate, and maintain characters. The authors call this hypothesis persona-model collapse. They test it only behaviorally with the 30-item Moral Foundations Questionnaire on a 0-5 scale. Each model answers as 100 fixed personas, with ten repetitions per persona-item cell at temperature 0.1. Moral susceptibility S is the across-question average of the cross-persona standard deviation of persona mean ratings. Moral robustness R is the reciprocal of mean within-persona, within-question standard deviation. S rises when personas separate more, while R falls when repeated answers under the same role are less stable.

The design compares DeepSeek-V3.1, GPT-4.1, GPT-4o, and Qwen3-235B in three states: base, fine-tuned on 6,000 insecure-code examples, and a matched control fine-tuned on 6,000 secure examples. DeepSeek and Qwen are trained through Tinker with LoRA rank 32, learning rate 2e-4, batch size 4, one epoch, and length 4096. The GPT models use the OpenAI API for one epoch, batch size 4, and learning-rate multiplier 2. The authors also run eight open-ended misalignment prompts 30 times each and have GPT-4o score alignment and coherence. As supporting evidence, they compare unconditioned MFQ profiles and eight explicit toxic personas generated with GPT-5.4.

The central numbers can be recomputed from the CSVs now released. Relative to base, S rises by 11% for DeepSeek, 37% for GPT-4.1, 112% for GPT-4o, and 61% for Qwen, an arithmetic mean of 55.1%. Secure controls change S by +6%, -20%, -9%, and +2%, averaging -5.4%, so the S contrast is clearly associated with insecure training in three of four families. R falls by 35%, 66%, 69%, and 88%, averaging 64.5%. Expressed through its inverse, mean within-cell spread rises by 303.7% and reaches 744.5% for Qwen. However, secure fine-tuning already lowers R by 36%, 54%, 43%, and 77%, averaging 52.4%. Insecure excess beyond secure on the R scale is only +0.5, -12.6, -25.7, and -10.7 percentage points. S is therefore the cleaner condition-specific signal; most of the average R decline also occurs under secure fine-tuning.

Unconditioned profiles move toward high values on all five foundations after insecure training. Saturation is clearest for GPT-4o and DeepSeek and more partial for GPT-4.1 and Qwen. The eight toxic personas do not create the same pattern: they mainly reduce Harm/Care and Fairness while elevating binding dimensions such as Loyalty or Authority. This is a useful check against the simple claim that the model became one explicit toxic character, but it does not exclude reweighting of other latent archetypes or prompt sensitivity. No inferential test accompanies the word “significantly” in this comparison.

The misalignment verification contains a material contradiction. The repository defines its canonical verdict as mean alignment below 50 and coherence above 60. Only GPT-4.1-insecure meets both in the paper table: 41.9 and 80.1. GPT-4o-insecure scores 67.7 and 95.8; Qwen 61.0 and 51.2; DeepSeek 55.0 and 7.4. Every model degrades on at least one dimension relative to base, but “all four show clear emergent misalignment” does not follow from the stated rule. DeepSeek excludes nearly every CODE/REFUSAL output and retains only 18 of 240 answers for scoring, making its 55.0 alignment mean highly selected. The repository releases neither open-ended answers nor judge outputs; the current JSON copies values from the paper table and is not an independent reproduction.

The CSV audit exposes another direct conflict. The appendix says DeepSeek-insecure had no more than 0.01 failed attempts per slot; its file records 29,627 failures across 30,000 slots, a mean of 0.9876. The protocol retries until a digit appears and overwrites the rejected response, so the analyzed distribution is conditional on eventual compliance and the first failed output can no longer be examined. GPT-4o-insecure does match the disclosed 0.54 rate, with 16,150 failures. GPT-4o-secure records 469 failures and retains 15 ratings of -1; at least one cell has only two valid repetitions. Qwen-base has 30,035 rows because the first persona's first seven questions have 15 rather than ten repetitions. Restricting it to ten barely changes S and R, but the fixed-n protocol is not exact.

Backend and time are also confounded. DeepSeek and Qwen bases are sampled through OpenRouter, whereas their fine-tunes run through Tinker. A later same-weight Qwen base comparison gives almost identical S through OpenRouter and Tinker, 0.898 versus 0.896, but R changes from 20.75 to 38.77, direct evidence that R is highly inference-stack sensitive. GPT and DeepSeek base data were collected roughly four to five months before the fine-tune files, using mutable aliases without retained provider response IDs. This does not by itself explain the large shifts, but it prevents attribution to weights alone.

Construct validity is the decisive limitation. S has no correct target profile for each persona: more dispersion may indicate stronger differentiation, exaggeration, endpoint polarization, sensitivity, or failure. R is the inverse of stochastic variation in an ordinal scale at one temperature, not a direct readout of identity coherence. The cited 0.66-0.83 baseline band is not a validated threshold either. The study's own base Qwen has S=0.898, and two other cited base models also exceed the band; DeepSeek-insecure remains below base Qwen, Grok 4 Fast, and Gemini 2.5 Flash. Formal definitions also drift from code: the paper's cross-persona variance uses divisor |P|, while pandas uses ddof=1; the paper says persona bootstrap, while the pipeline also bootstraps reruns and combines errors in quadrature. Published estimates follow the code.

The post-paper repository adds useful evidence. A BFI-44 replication for GPT-4o repeats the pattern: R is 16.38 base, 7.13 secure, and 3.82 insecure; S is 0.627, 0.635, and 1.178. A trivial lookup control returns 300/300 correct digits for GPT-4o base, secure, and insecure. The latter rules out a gross inability to emit a requested number, not semantic instability while maintaining a persona, and it does not cover the other families. Both experiments date from July and are not part of arXiv v2.

Current reproducibility is mixed. The statistical pipeline reproduces the paper's values when manually supplied with the correct 12 CSVs, and all inspected Python compiles. Yet the public May 24 snapshot contained no tracked data/ or results/ files despite the manuscript saying code and data were available. The current checkout now contains CSVs, but the README claims recursive discovery where the code performs a flat glob, and the submodule does not register the fine-tuned variants. Running the documented flow makes plot_bar skip all four families and plot_dr_dcoherence crash on an empty vector. There are no tests, CI, lockfile, container, or root license. Rejected responses, raw verification data, judge outputs, provider IDs, and exact fine-tune sampling configs are missing.

A faithful reading is that the study finds a large, reproducible shift in rating dispersion after insecure fine-tuning, with a compelling S contrast in three families and a later second-questionnaire replication for GPT-4o. The metrics may be useful behavioral diagnostics. It does not demonstrate an internal persona mechanism or its collapse, validate S or R as direct measures of that mechanism, or confirm emergent misalignment under its own decision rule in three of four models. Persona-model collapse should be treated as an interpretive hypothesis requiring activation evidence, identity probes, persona-fidelity targets, backend-matched controls, and a traceable result pipeline.