Low-Agreeableness Persona Conditioning for Safe LLM Fine-Tuning

This preprint tests a data-composition strategy intended to prevent warm conversational fine-tuning from weakening safety refusals. A pilot on Llama-3.1-8B compares ten high/low Big Five PersonaFuse subsets and selects low Agreeableness by jailbreak rate. The paper acknowledges circularity because the same model and benchmark return in the main study. GPT-4o rewrites user turns to be skeptical, direct, less accommodating, and resistant to social pressure; the full condition also rewrites assistant turns to be warm and de-escalating. Five-epoch LoRA adapters are trained for Llama-3.1-8B, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3, and SmolLM3-3B. Experiment 1 compares four differently sourced n=1,431 corpora, so it cannot isolate Agreeableness. Experiment 2 starts from ShareGPT but uses 3,231 generic-warm examples versus 3,069 user-only and full-paired examples after rewrite filtering, changing membership and training dose as well as rewriting policy. Experiment 3 builds two n=1,000 MentalChat-16K rewrites. Results are directionally promising but less uniform than the abstract suggests. In Experiment 2, full paired lowers jailbreak rate against generic warmth for all four models but lowers red-team rate for only three; Qwen worsens from 32.08% to 37.74%. Against no fine-tuning, it worsens SmolLM3 and Qwen jailbreak rates. User-only is safer than full paired on three of four models under each metric, while failing to preserve warmth for Qwen and Mistral. In MentalChat, full paired beats generic warmth on both metrics for all four models, although Qwen remains worse than its base jailbreak rate. Under the stated Bonferroni threshold of 0.0125, only 3 of 8 Experiment-2 and 5 of 8 Experiment-3 comparisons survive. Independent two-proportion z-tests are also inappropriate for the same prompts evaluated across conditions; a paired analysis such as McNemar is needed. The central metric is the largest limitation. Both public evaluators search for about thirty refusal phrases. Any response lacking them is counted as jailbreak or harmful, and any response containing one is counted as safe. Harmful instructions preceded by an apology therefore pass, while harmless redirections without a listed phrase fail. The featured torture example begins with an apology and asks the user to clarify rather than setting a firm boundary: it triggers the heuristic but is not a robust refusal. Reported rates are absence-of-refusal-prefix rates, not semantically validated harmful-output rates. The result also cannot be attributed to personality alone or to data without refusal signals. The assistant rewrite prompt explicitly requires safety-aligned behavior, refusal of harmful requests, and avoidance of sycophantic agreement. The released source pipeline deliberately detects and samples a refusal category, and it contains an optional Detoxify filter without a run manifest showing whether it was used. The full condition packages low-Agreeableness wording, de-escalation, explicit safety instructions, possible source refusals, and filtering. The GPT-2 prefix-likelihood warmth score rises over base for all models, but it is not a human warmth judgment and generic warmth scores higher for Llama and Mistral. MMLU falls for every model by 1.49 to 3.87 points without uncertainty. Mechanistic probing is exploratory: the compliance axis contrasts 100 prompts where base Llama lacks a refusal prefix with only 54 where it has one, and reuses Llama-defined classes for all models. Full paired differs from generic warmth by only 0.001-0.004 in the favorable three models and is worse by 0.014 on Qwen, without uncertainty or causal intervention. The released aggregator also trims layers differently from the method description, while its paper-strict mode requires equal classes and cannot reproduce 100 versus 54. The code release is useful but not end-to-end reproducible. The audited one-commit repository has no license, dependency lock, datasets, results, generations, checkpoints, annotations, or tests. The abstract says code and data are public, but only scripts to rebuild part of the data through mutable APIs are present. More seriously, rewrite scripts output instruction/output JSONL while train.py requires messages, so the documented training command breaks at the schema boundary. The paper reports three seeds, but the code fixes one seed, 3407, and tables show no variation. Checkpoint selection among five epochs is unspecified. Even deterministic base-model rates on the claimed same benchmark change across experiments, most sharply Qwen from 40.00% to 40.33% and 51.00%, without an explanatory prompt manifest. The defensible contribution is a promising data-design hypothesis with useful ablations and directional evidence that conversational patterns affect refusal style while retaining a warmth signal. It does not establish semantic safety, a low-Agreeableness psychological mechanism, absence of trade-offs, clinical robustness, or a reproducible deployment-ready recipe.

Este preprint prueba una estrategia de composición de datos para evitar que el fine-tuning conversacional cálido debilite los rechazos de seguridad. Tras un piloto en Llama-3.1-8B que compara diez subconjuntos PersonaFuse, alto y bajo en cada rasgo Big Five, selecciona baja Amabilidad porque obtiene la menor tasa de jailbreak. El propio artículo reconoce circularidad: el modelo y el benchmark usados para seleccionar el rasgo vuelven a aparecer en los experimentos principales. La intervención reescribe con GPT-4o los turnos de usuario para hacerlos escépticos, directos, poco acomodaticios y resistentes a presión social; en la condición completa reescribe también la respuesta para que sea cálida y desescaladora. Ajusta adaptadores LoRA de cinco épocas sobre Llama-3.1-8B, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 y SmolLM3-3B. El Experimento 1 compara cuatro corpus de 1.431 ejemplos; como proceden de fuentes distintas, sus resultados no aíslan Amabilidad. El Experimento 2 usa ShareGPT, con 3.231 ejemplos en el baseline cálido y 3.069 en user-only y en la condición completa después de filtrado. Por tanto, aunque comparten corpus de origen, no varían solo la política de reescritura: cambian membresía y dosis de entrenamiento. El Experimento 3 construye dos conjuntos de 1.000 ejemplos a partir de MentalChat-16K. Los resultados favorecen la hipótesis, pero son más irregulares que el abstract. En el Experimento 2, la condición completa reduce la tasa de jailbreak frente al baseline cálido en los cuatro modelos, pero reduce la tasa red-team solo en tres; en Qwen empeora de 32,08% a 37,74%. Frente al modelo sin fine-tuning, empeora el jailbreak de SmolLM3, 38,00% a 42,33%, y Qwen, 40,33% a 41,33%. El user-only obtiene menor jailbreak que la condición completa en tres de cuatro modelos y menor red-team en tres de cuatro, pero no conserva la calidez en Qwen y Mistral. En MentalChat la condición completa es mejor que el baseline cálido en ambos indicadores para los cuatro modelos, aunque Qwen sigue peor que su base en jailbreak. Aplicando el umbral Bonferroni declarado de 0,0125, sobreviven 3 de 8 comparaciones del Experimento 2 y 5 de 8 del Experimento 3; varios asteriscos nominales de p<0,05 no sobreviven. Además, se usan z-tests de proporciones independientes aunque cada condición responde a los mismos prompts, por lo que corresponde un análisis pareado como McNemar. La métrica central es el principal límite. Los dos evaluadores públicos no detectan daño semántico: buscan unas treinta frases como “I’m sorry”, “I cannot” o “I won’t”. Toda respuesta sin esas frases se cuenta como jailbreak o dañina y toda respuesta que contenga una se cuenta como rechazo. Así, una respuesta dañina precedida por una disculpa se clasifica segura y una redirección inocua sin frase registrada se clasifica dañina. El propio ejemplo destacado para una petición de tortura empieza con una disculpa y pide al usuario que aclare qué tiene en mente, sin establecer un límite directo: activa el heurístico, pero no constituye un rechazo robusto. Las tasas deben describirse como ausencia de prefijo de rechazo, no como contenido dañino validado. Tampoco es correcto atribuir el efecto a personalidad sola ni afirmar que los datos carecen de señales de rechazo. El prompt de respuesta ordena explícitamente mantener conducta alineada con seguridad, rechazar solicitudes dañinas y evitar acuerdo sicofántico. El código de preparación detecta y muestrea deliberadamente una categoría de respuestas de rechazo. Existe además un filtro Detoxify opcional, sin manifiesto que indique si se usó. La condición completa combina baja Amabilidad, desescalada, instrucción explícita de seguridad, posibles rechazos fuente y filtrado. La medida de calidez es una diferencia de log-verosimilitud GPT-2 bajo prefijos relacionales cálidos y fríos, no una evaluación humana. Aumenta sobre base en los cuatro modelos, pero la condición genérica es más cálida en Llama y Mistral. MMLU cae en todos: 3,87 puntos en Llama, 1,49 en Qwen, 2,43 en Mistral y 2,07 en SmolLM, sin incertidumbre ni desglose. El probing mecanicista es exploratorio: construye direcciones de calidez y cumplimiento, pero la clase de cumplimiento usa 100 prompts donde Llama no mostró prefijo de rechazo y solo 54 donde sí lo mostró; los grupos no están emparejados y sus etiquetas Llama se reutilizan para los otros modelos. La condición completa presenta menor coseno que el baseline cálido en tres modelos por diferencias pequeñas de 0,001 a 0,004 y peor resultado en Qwen por 0,014, sin intervalos ni intervención causal. El código además contradice el método: el paper dice seleccionar una franja común de capas con una clave promedio entre variantes, mientras el agregador ordena y recorta cada variante por separado. Su modo paper-strict exige clases iguales de al menos 100 ejemplos y no puede representar el contraste publicado de 100 frente a 54. La liberación de código es útil pero no reproduce el trabajo. El repositorio auditado contiene un único commit, no tiene licencia, dependencias fijadas, datos, resultados, generaciones, checkpoints, anotaciones ni tests. El abstract afirma que código y datos son públicos, pero solo hay scripts para reconstruir parte de los datos con APIs variables. Más grave: los scripts de reescritura generan JSONL con claves instruction/output y train.py exige messages, de modo que el comando documentado falla por contrato. El paper declara tres semillas, pero el código fija una sola, 3407, y las tablas no muestran variación. Tampoco se explica qué checkpoint de las cinco épocas se seleccionó. Incluso las tasas deterministas del mismo modelo base y benchmark cambian entre experimentos, Qwen pasa de 40,00% a 40,33% y 51,00%, sin un manifiesto de prompts que lo justifique. La aportación defendible es una hipótesis de diseño de datos prometedora, con ablations útiles y evidencia direccional de que ciertos patrones conversacionales alteran los rechazos sin eliminar la señal de calidez. No demuestra seguridad semántica, un mecanismo psicológico de baja Amabilidad, ausencia de trade-offs, robustez clínica o una receta reproducible y lista para despliegue.