Disentangling Intent from Role: Adversarial Self-Play for Persona-Invariant Safety Alignment

Inducción y control de rasgos2026arXivRevisión editorial aprobada

Autores: Jiajia Li, Xiaoyu Wen, Zhongtian Ma, Shuyue Hu, Qiaosheng Zhang, Zhen Wang

Palabras clave: Persona conditioning, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6: Autores
8: Hallazgos
20: Limitaciones
4: Evidencias

Resumen editorial

Español

PIA combina dos piezas: Persona Lineage Evolution busca descripciones de rol que hacen fallar las negativas de seguridad, y Persona-Invariant Consistency Learning entrena al modelo para acercar su distribución con persona a la respuesta sin persona, junto con DPO y SFT. En las tablas, PLE supera a Persona-GA y PICL reduce mucho el ASR medio con personas no vistas: de .601 a .054 en Qwen2.5-7B y de .302 a .052 en Llama-3.1-8B. El resultado es relevante como defensa conductual dentro de ese protocolo, pero no demuestra el anunciado desacoplamiento estructural. El límite teórico se deriva para KL(modelo con persona || referencia), mientras el método invierte los argumentos; además, el código enmascara los 100 tokens principales sin renormalizar, por lo que la suma puede ser negativa y no es una KL. WildGuard selecciona datos, guía la evolución y juzga todos los resultados, sin validación humana ni segundo juez, y sólo hay una generación estocástica por caso. SafeRLHF-unsafe tampoco es realmente OOD: 3.608 de 5.270 prompts coinciden exactamente con entrenamiento. La publicación no entrega el corpus final de entrenamiento, adaptadores, respuestas, etiquetas del juez ni resultados numéricos; el repositorio de modelo en Hugging Face sólo contiene el PDF. PICL también aumenta el rechazo benigno y reduce algo la media de capacidad de Qwen. El trabajo fue aceptado en ICML 2026, pero la evidencia disponible sustenta menor ASR según WildGuard, no invariancia mecanística ni robustez general reproducida independientemente.

English

PIA combines two components: Persona Lineage Evolution searches for role descriptions that break safety refusals, and Persona-Invariant Consistency Learning trains the persona-conditioned model toward its persona-free output distribution alongside DPO and SFT. In the reported tables, PLE outperforms Persona-GA and PICL sharply lowers mean attack success under unseen personas, from .601 to .054 for Qwen2.5-7B and from .302 to .052 for Llama-3.1-8B. This is meaningful behavioral-defense evidence within the paper's protocol, but it does not demonstrate the claimed structural decoupling. The theoretical bound is derived for KL(persona model || reference), whereas the method reverses the arguments. The code further masks to the teacher's top 100 tokens without renormalization, so the partial sum can be negative and is not a KL divergence. WildGuard filters data, drives evolution and judges every safety result, with no human validation or second judge, and each target response is sampled once. SafeRLHF-unsafe is not genuinely out of distribution: 3,608 of 5,270 prompts exactly match training prompts. The release omits the final training corpus, adapters, responses, judge labels and numeric results; its Hugging Face model repository contains only the paper. PICL also increases benign refusals and slightly reduces Qwen's mean capability. The work was accepted at ICML 2026, but the available evidence establishes lower WildGuard-labeled ASR, not mechanistic invariance or independently reproduced general robustness.

Pregunta de investigación

¿Puede una coevolución entre personas adversarias y un modelo defensor hacer que la negativa ante una intención dañina sea estable frente al rol solicitado, sin destruir utilidad general ni capacidad de role-play?

Método

PLE evoluciona 35 personas élite durante 40 generaciones mediante grafo de linaje, propagación de crédito, UCB, mutación y cruce. Cada generación usa 100 instrucciones JBB fijas y 50 de PKU-SafeRLHF muestreadas. PICL mezcla 10.000 pares DPO con persona, 10.000 DPO sin persona y 15.000 ejemplos SFT; añade una consistencia entre logits de la condición sin persona, detenida como profesor, y la condición con persona. La revisión inspeccionó las 21 páginas, TeX, código e historial, datasets publicados, artefactos Hugging Face, metadatos OpenReview/ICML, fórmulas, configuración de entrenamiento, solapamientos y parsers.

Muestra: El pool dañino publicado contiene 20.430 prompts únicos de entrenamiento. El artículo declara 35.000 ejemplos para PICL, pero ese corpus final no se publica. La evaluación agrega múltiples benchmarks con una generación por prompt y temperatura .7. SafeRLHF-unsafe tiene 5.270 filas, 3.608 solapadas exactamente con entrenamiento; DAN conserva 857 objetos lógicos pero 826 prompts únicos, y HarmBench 400 filas pero 393 prompts únicos. Dos archivos JSONL contienen objetos partidos por saltos sin escapar, y los loaders línea a línea pierden registros.

Hallazgos

El ASR medio con personas OOD baja de .601 a .054 para Qwen y de .302 a .052 para Llama en cinco benchmarks publicados.
El ASR medio ante daño directo baja de .244 a .115 para Qwen y de .102 a .036 para Llama.
El rechazo benigno medio sube de .054 a .091 en Qwen y de .128 a .179 en Llama.
La capacidad media de Qwen baja de .650 a .629, con ARC de .669 a .593; Llama queda prácticamente igual, .601 a .600.
PLE supera a Persona-GA en las nueve columnas del cuadro Qwen, pero el mismo WildGuard se usa para optimizar y evaluar.
La dirección KL implementada no es el límite variacional derivado y el top-100 sin renormalizar puede producir una pérdida negativa.
SafeRLHF-unsafe tiene 68,46% de solapamiento exacto por filas con el pool de entrenamiento publicado.
La versión OpenReview aceptada lista cinco autores; arXiv v1 y el repositorio listan seis.

Limitaciones

WildGuard filtra datos, construye parte del entrenamiento, guía la fitness de PLE y etiqueta todos los resultados de seguridad y sobrerrechazo.
No hay anotación humana, juez independiente, calibración, acuerdo ni análisis de errores del juez.
Se genera una sola respuesta por caso a temperatura .7; no hay repeticiones, intervalos ni pruebas estadísticas.
La inversión de KL se justifica por cobertura, pero deja de optimizar el límite superior de información mutua derivado.
La máscara top-100 no renormaliza distribuciones y su suma parcial no es una divergencia KL ni garantiza no negatividad.
El profesor sin persona no siempre es seguro; el Qwen base alcanza ASR directo .329 en DAN y .458 en WildJailbreak-harm.
PIC se calcula por teacher forcing sobre tokens de completaciones elegidas, no sobre distribuciones completas de secuencias generadas.
No se mide información mutua, representación interna, causalidad o independencia estructural.
SafeRLHF-unsafe está contaminado en 3.608/5.270 prompts y no sustenta una evaluación OOD.
DAN y HarmBench contienen duplicados; StrongREJECT y MaliciousInstruct comparten 12 prompts.
Baseline elite contiene 35 filas pero sólo 33 personas únicas.
El paper declara 5k SafeRLHF-unsafe y 1.405 DAN; el repo contiene 5.270 y 857 objetos lógicos.
PKU-SafeRLHF-Train-unsafe y DAN no son JSONL estrictamente válidos; los parsers publicados omiten líneas rotas.
El paper declara batch global 64 y 546 pasos; run.sh configura 3x1x14=42 y aproximadamente 833 pasos para 35k filas.
No se publican training.jsonl, adaptadores, checkpoints, respuestas, juicios, logs ni tablas recalculables.
El repositorio Hugging Face rotulado como modelo sólo contiene README y PDF.
Varias rutas del README no existen y la ejecución end-to-end no sigue las instrucciones tal como están.
TRL e IFEval quedan sin versión/commit; no hay lockfile, contenedor, CI ni tests.
Faltan revisiones exactas de modelos y la identidad versionada de Qwen3-Max y WildGuard.
La liberación de personas adversarias de alto ASR introduce riesgo de doble uso sin un proceso de acceso escalonado.

Qué no demuestra

Que la seguridad esté desacoplada estructural o mecanísticamente de la persona.
Que se haya minimizado el límite superior de información mutua presentado.
Que la pérdida top-100 implementada sea una KL válida.
Que la mejora transfiera a jueces humanos o clasificadores independientes.
Que SafeRLHF-unsafe sea un conjunto OOD.
Que la robustez persista ante ataques adaptativos no optimizados para WildGuard.
Que no exista coste de sobrerrechazo o capacidad.
Que se preserve toda forma de role-play benigno fuera de CharacterEval y RoleBench.
Que los resultados sean reproducibles desde los artefactos públicos.
Que aceptación en ICML resuelva las limitaciones de datos, código, juez y constructo.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.01899v1; 21-page PDF, TeX, official repository commit e3ce359, Hugging Face artifacts and ICML/OpenReview metadata audited

Fuente consultada: https://arxiv.org/abs/2605.01899v1

Revisión: Codex 21-page visual full-text, TeX, official repository, Hugging Face, theory, judge, leakage, data, code and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

Qwen2.5-7B-Instruct
Llama-3.1-8B-Instruct
Qwen3-Max as mutation/crossover generator
WildGuard-7B as sole safety judge
Self-RedTeam, SmoothLLM, LLM self-eval, SFT and DPO baselines

Instrumentos y métricas

Attack Success Rate labeled by WildGuard
Benign Refusal-to-Answer rate labeled by WildGuard
IFEval, AI2-ARC, GPQA-diamond and MMLU
CharacterEval and RoleBench
BGE-M3 persona similarity
Persona Lineage Evolution and Persona-GA

Datos utilizados

JBB-Behaviors harmful and benign
PKU-SafeRLHF train/test-derived harmful and safe subsets
StrongREJECT, WildGuardTest, XSTest, AdvBench, DAN and HarmBench
MaliciousInstruct, OR-Bench, WildJailbreak and TrustLLM
Databricks Dolly 15k
35 released attack elite, 35 baseline elite and 35 OOD elite persona rows

Evidencia y localización

Texto, ecuaciones, resultados, apéndices, prompts y configuración: arXiv:2605.01899v1; PDF sha256 843b34676959dc5ba81db918146f96bc872c6cb7166ac5c48d0c30057f7ba11d; TeX sha256 6ede9d3a3f86736b2117bf297224c0e614f3df74896800431d8f5197f95e8bfd
Código, datos, JSONL, configuración y artefactos ausentes: JiajiaLi-1130/PIA commit e3ce35985eee73b0ddaf906facdb0f6dc18f4b81; archive sha256 18c5fdbaee3a476c44606d014cd40e26404e4642d523e1555a83c03d0b75412b
Aceptación ICML 2026 y deriva de autoría/versiones: OpenReview pTz80QaxqD and ICML 2026 poster 61505; snapshots cached under .cache/editorial-sources/article-349/supplements/
Auditoría de teoría, juez, leakage, datos, código y reproducibilidad: reports/verification/article-349-pia-theory-judge-leakage-data-code-and-reproducibility-audit.json