Efficient Safety Alignment of Language Models via Latent Personality Traits

Este manuscrito, que el PDF y arXiv etiquetan como aceptado en COLM 2026, propone Latent Personality Alignment (LPA): afinar adaptadores LoRA mediante entrenamiento adversarial latente para que un LLM rechace autodescripciones IPIP asociadas a baja amabilidad, baja responsabilidad y baja estabilidad emocional. El resultado principal usa Qwen3-8B; Llama-3-8B aparece como experimento preliminar. La variante declarada como principal entrena con enunciados negativos y la misma respuesta, «I do not agree with this statement». Perturbaciones PGD atacan embeddings y varias capas; el modelo aprende a mantener esa respuesta. La evaluación usa solicitudes directas de HarmBench, cinco jailbreaks, GCG, PAIR, AutoPrompt, AutoDAN y TAP, y métricas de utilidad MMLU, GSM8K y TruthfulQA.

La expresión «personalidad» debe interpretarse con cautela. Los ítems proceden de IPIP, pero el estudio no aplica una escala Big Five antes y después, no estima factores, fiabilidad o validez, no mide conducta de rasgos fuera de seguridad y no analiza el supuesto subespacio compartido entre personalidad y evitación del daño. La salida entrenada es una respuesta textual fija, no evidencia de valores internos ni de una personalidad psicológica. Además, el prompt de entrenamiento incluye de forma literal la negativa «I'm sorry, I cannot comply with that request». Por tanto, los ejemplos no describen daños, pero sí exponen al modelo a un comportamiento explícito de rechazo; la afirmación de que nunca ve negativas explícitas es demasiado amplia.

En Qwen3-8B, el checkpoint seleccionado reduce ASR directo de 0,41 a 0,04, frente a 0,05 para LAT. En GCG, PAIR, AutoPrompt, AutoDAN y TAP, LPA informa 0,02, 0,03, 0,01, 0,00 y 0,03; LAT informa 0,03, 0,12, 0,02, 0,00 y 0,12. La utilidad de Qwen queda cerca del modelo base: MMLU 0,72→0,71, GSM8K 0,86→0,87, TruthfulQA1 0,37→0,37 y TruthfulQA2 0,54→0,57. Estos agregados apoyan una defensa fuerte en esa configuración concreta, no una garantía de seguridad.

La generalización por modelo es más débil de lo que sugiere el abstract. En Llama-3-8B, LPA baja ASR directo 0,18→0,06 y reduce los cinco jailbreaks, pero es peor que LAT en directo, GCG y AutoPrompt. Sobre todo, pierde utilidad frente al base: MMLU 0,70→0,63 y GSM8K 0,86→0,70; TruthfulQA1 pasa 0,37→0,34 y TruthfulQA2 0,54→0,53. El pie de figura llama a esto preservación de utilidad, aunque las caídas de 7 y 16 puntos son materiales. Las medias y desviaciones estándar proceden de ocho runs, pero no se publican semillas, resultados por run, outputs, intervalos ni pruebas que sustenten «estadísticamente indistinguible».

El protocolo también selecciona sobre los resultados que luego presenta. Qwen se detiene en la época 30 porque después cae la utilidad; LAT se detiene cuando su utilidad comienza a degradarse. HarmBench directo se mide durante el entrenamiento, y las ablaciones eligen el checkpoint que alcanza ASR≤5% en HarmBench directo para comparar TinyMMLU. Sin validación separada, HarmBench directo y la utilidad participan en la selección; decir que LPA no tuvo «exposición» a HarmBench solo es cierto para los lotes de gradiente, no para desarrollo y elección de modelo. Tampoco se evalúa sobre-rechazo en consultas benignas abiertas: MMLU y GSM8K no descartan que parte del ASR casi cero proceda de negar demasiado.

Hay dos contradicciones cuantitativas. El texto repite 66 enunciados, pero define el método principal como negative-only; la Tabla 1 dice que sus 66 filas pertenecen a la ablación «Subset + and -» y contiene 28 ítems positivos y 38 negativos. Como falta el CSV principal, no se puede saber si el run usó 38 negativos, otros 66 o una etiqueta errónea. El «75×» es 4.947/66 y excluye 165.297 ejemplos benignos de LAT. Más importante, el código LPA exige también un dataset benigno y aplica cada paso una penalización KL de 0,1 para conservar las salidas del modelo base: no es SFT supervisado, pero sí consume datos benignos como regularizador de utilidad. El «19%» de la ablación es igualmente una diferencia absoluta de 0,72 frente a 0,53, 19 puntos, no una mejora relativa del 19%.

El código enlazado no permite reproducir el artículo. La interfaz anónima muestra 17 archivos y fecha de actualización 29 de enero de 2026, sin commit durable, README, datasets, checkpoints, seeds, logs ni outputs. install_tasks_from_github.sh contiene git clone XXXX; faltan los módulos externos tasks.*; las dependencias no tienen versiones; y hay tres breakpoint() activos en la ruta principal. El eval.py publicado ni siquiera ejecuta GSM8K o TruthfulQA, las métricas de la Figura 1. En conjunto, LPA ofrece evidencia prometedora de que esta señal adversarial compacta puede reducir ASR en Qwen3-8B y parcialmente en Llama-3-8B. No demuestra que una personalidad validada sea el mecanismo, que no exista sobre-rechazo, que la utilidad se conserve entre familias ni que los resultados sean reproducibles. La aceptación se atribuye al PDF/arXiv; el registro público exacto de decisión COLM no era localizable en la auditoría.

This manuscript, labelled by its PDF and arXiv record as accepted at COLM 2026, proposes Latent Personality Alignment (LPA): LoRA post-training with latent adversarial perturbations so that an LLM rejects IPIP self-descriptions associated with low agreeableness, conscientiousness and emotional stability. The main result uses Qwen3-8B; Llama-3-8B is preliminary. The declared main variant trains on negative statements with the same response, “I do not agree with this statement.” PGD perturbations attack embeddings and several layers, while the model learns to retain that response. Evaluation uses HarmBench direct requests, five jailbreaks, GCG, PAIR, AutoPrompt, AutoDAN and TAP, and MMLU, GSM8K and TruthfulQA utility scores.

“Personality” needs a strict boundary here. The items come from IPIP, but the study does not administer a Big Five scale before and after training, estimate factors, reliability or validity, test trait behavior outside safety, or analyze the hypothesized shared personality–harm-avoidance subspace. A trained fixed textual answer is not evidence of internal values or a psychological personality. The training prompt also includes the literal refusal “I'm sorry, I cannot comply with that request.” The items contain no harmful scenario, but the model is exposed to an explicit refusal behavior; the broad claim that it never sees explicit refusals is therefore inaccurate.

For Qwen3-8B, the selected checkpoint lowers direct ASR from 0.41 to 0.04, compared with 0.05 for LAT. On GCG, PAIR, AutoPrompt, AutoDAN and TAP, LPA reports 0.02, 0.03, 0.01, 0.00 and 0.03; LAT reports 0.03, 0.12, 0.02, 0.00 and 0.12. Qwen utility remains close to the base: MMLU 0.72→0.71, GSM8K 0.86→0.87, TruthfulQA1 0.37→0.37 and TruthfulQA2 0.54→0.57. These aggregates support strong defense in this configuration, not a general safety guarantee.

Cross-model generalization is weaker than the abstract suggests. On Llama-3-8B, LPA lowers direct ASR 0.18→0.06 and reduces all five jailbreak rates, but is worse than LAT on direct, GCG and AutoPrompt. More importantly, utility falls from the base: MMLU 0.70→0.63 and GSM8K 0.86→0.70; TruthfulQA1 moves 0.37→0.34 and TruthfulQA2 0.54→0.53. The figure caption calls this utility preservation even though the 7- and 16-point drops are material. Means and standard deviations come from eight runs, but seeds, per-run results, outputs, intervals and tests supporting “statistically indistinguishable” are absent.

The protocol also selects on the outcomes it reports. Qwen is stopped at epoch 30 because utility declines afterward; LAT is stopped when its utility begins to fall. HarmBench direct ASR is measured throughout training, and ablations select the checkpoint that reaches direct ASR≤5% before comparing TinyMMLU. Without a separate development set, direct HarmBench and utility take part in model selection. “No exposure” to HarmBench is true only of gradient batches, not development and checkpoint choice. The study also has no open-ended benign over-refusal benchmark: MMLU and GSM8K cannot rule out broad refusal as part of the near-zero ASR.

Two numerical inconsistencies matter. The manuscript repeatedly says 66 statements but calls negative-only the main method; Appendix Table 1 says its 66 rows are for the “Subset + and -” ablation and contains 28 positive plus 38 negative items. With the main CSV missing, the public record cannot determine whether the run used 38 negatives, a different 66-item negative set or mislabeled prose. The “75×” value is 4,947/66 and excludes LAT's 165,297 benign examples. More importantly, released LPA code also requires a benign dataset and applies a 0.1 KL penalty each step to preserve base-model outputs. This is not supervised SFT, but it does consume benign data as a utility regularizer. Likewise, the ablation's “19%” is an absolute 0.72-versus-0.53 gap, 19 points, not a 19% relative improvement.

The linked code cannot reproduce the paper. The anonymous interface exposes 17 files last updated 29 January 2026, with no durable commit, README, datasets, checkpoints, seeds, logs or outputs. install_tasks_from_github.sh says git clone XXXX; external tasks.* modules are missing; dependencies are unpinned; and three active breakpoint() calls sit on the main path. Published eval.py does not even run GSM8K or TruthfulQA, the Figure 1 utility metrics. Overall, LPA provides promising evidence that a compact adversarial training signal can reduce ASR on Qwen3-8B and partly on Llama-3-8B. It does not establish validated personality as the mechanism, absence of over-refusal, utility preservation across families or reproducibility. COLM acceptance is attributed to the PDF/arXiv label because an exact public COLM decision record was not discoverable during the audit.