PerMix-RLVR: Preserving Persona Expressivity under Verifiable-Reward Alignment

Inducción y control de rasgos2026arXivRevisión editorial aprobada

Autores: Jihwan Oh, Soowon Oh, Murad Aghazada, Minchan Jeong, MyeongSeok Kang, Sungnyun Kim, Se-Young Yun

Palabras clave: Persona conditioning, Role-playing agents

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

7
Autores
7
Hallazgos
8
Limitaciones
10
Evidencias

Resumen editorial

Español

El trabajo estudia si el aprendizaje por refuerzo con recompensas verificables (RLVR) hace que el rendimiento de un modelo dependa menos de la persona indicada en el prompt y, a la vez, reduzca su capacidad de mantenerse en personaje. Propone PerMix-RLVR: durante el entrenamiento con GSM8K se elige uniformemente una de 25 personas, se añade como mensaje de sistema y se conserva el mismo objetivo GRPO y el mismo verificador binario que en RLVR. La comparación controlada parte de Llama-3.1-8B-Instruct y usa QLoRA; incluye SFT, SFT con personas, destilación secuencial con tres profesores, RLVR y PerMix-RLVR. Se evalúan 16 prompts de persona, cinco ejecuciones por condición, en GSM8K, MATH500, AIME2024 y LiveCodeBench v6. La fidelidad se mide con PersonaGym, cuyas preguntas genera GPT-5-mini y cuyas respuestas juzgan GPT-5-mini y DeepSeek-v3.2. En MATH500, PerMix-RLVR eleva la precisión de la peor persona de 34,0 % a 41,0 %, reduce la mejor de 49,6 % a 48,6 % y apenas cambia la media, de 46,8 % a 47,1 %. El PSS, mínimo dividido por máximo, pasa de 0,675 a 0,818: el +21,2 % anunciado es una mejora relativa de ese cociente, no de precisión. En GSM8K, la media pasa de 86,1 % a 86,4 % y el PSS de 0,959 a 0,975. En PersonaGym, Persona Consistency sube de 3,06 a 3,41, que corresponde al +11,4 % del resumen; el promedio de las cinco dimensiones solo pasa de 2,79 a 2,87 y PerMix empeora Action Justification y Toxicity Control. La ventaja tampoco es uniforme: frente a RLVR, su PSS baja de 0,400 a 0,355 en LiveCodeBench Medium; en AIME24 empeoran peor caso, mejor caso, media y PSS; y en LiveCodeBench Hard todos los PSS son cero. La propuesta aporta una intervención sencilla y un resultado prometedor en la cola inferior de MATH500, pero el PSS depende de dos extremos y puede subir al reducir el máximo o aun con rendimiento uniformemente bajo. Los prompts mezclan identidad, estilo y estrategia de resolución; aunque sus etiquetas de entrenamiento y prueba son distintas, hay solapamientos semánticos claros. No se aportan pruebas inferenciales para las afirmaciones de significación, evaluación humana de la fidelidad ni código, checkpoints, salidas, semillas o registros de jueces. La teoría describe un óptimo idealizado con un verificador independiente del estilo y no garantiza el comportamiento del GRPO finito ni de PersonaGym. Es una prepublicación arXiv v1, no una publicación aceptada confirmada.

English

The paper asks whether reinforcement learning with verifiable rewards (RLVR) makes task performance less dependent on a prompted persona while also weakening the model's ability to stay in character. It proposes PerMix-RLVR: during GSM8K training, one of 25 personas is sampled uniformly and prepended as a system message while retaining the same GRPO objective and binary verifier as standard RLVR. The controlled comparison starts from Llama-3.1-8B-Instruct and uses QLoRA; it covers SFT, persona-mixed SFT, sequence distillation from three teachers, RLVR, and PerMix-RLVR. Sixteen persona prompts are evaluated with five runs per condition on GSM8K, MATH500, AIME2024, and LiveCodeBench v6. Persona fidelity is measured with PersonaGym, using questions generated by GPT-5-mini and judgments from GPT-5-mini and DeepSeek-v3.2. On MATH500, PerMix-RLVR raises the worst-persona accuracy from 34.0% to 41.0%, lowers the best from 49.6% to 48.6%, and barely changes the mean from 46.8% to 47.1%. PSS, defined as minimum divided by maximum accuracy, rises from 0.675 to 0.818: the advertised +21.2% is a relative improvement in that ratio, not an accuracy gain. On GSM8K, mean accuracy changes from 86.1% to 86.4% and PSS from 0.959 to 0.975. On PersonaGym, Persona Consistency rises from 3.06 to 3.41, producing the abstract's +11.4%; the five-dimension mean only rises from 2.79 to 2.87, and PerMix worsens Action Justification and Toxicity Control. The advantage is not uniform: compared with RLVR, PSS falls from 0.400 to 0.355 on LiveCodeBench Medium; worst, best, mean, and PSS all worsen on AIME24; and every PSS is zero on LiveCodeBench Hard. The method is a simple intervention with a promising lower-tail MATH500 result, but PSS depends on two extremes and can improve by lowering the maximum or even when performance is uniformly poor. Prompts combine identity, style, and problem-solving strategy; although train and test labels are distinct, their semantics overlap substantially. The paper provides no inferential tests for significance claims, human fidelity validation, code, checkpoints, outputs, seeds, or judge logs. Its theory describes an ideal optimum with a style-independent verifier and does not guarantee finite-GRPO or PersonaGym behavior. This is an arXiv v1 preprint, not a confirmed accepted publication.

Pregunta de investigación

¿Reduce RLVR la sensibilidad del rendimiento a distintos prompts de persona a costa de la expresividad, y puede el entrenamiento RLVR con una mezcla de personas mejorar simultáneamente la estabilidad en tareas verificables y la fidelidad al personaje?

Método

Estudio observacional inicial entre familias de modelos y experimento controlado. El análisis inicial compara PSS en variantes Qwen3, Llama 3.1/3.2 y Gemma 3. El experimento principal parte de Llama-3.1-8B-Instruct y entrena, con QLoRA, variantes SFT, PerMix-SFT, SeqKD con Qwen3-32B, Llama-3.1-70B o Gemma-3-27B, RLVR y PerMix-RLVR. Esta última muestrea uniformemente una persona de entrenamiento por ejemplo GSM8K y aplica GRPO con recompensa binaria de math-verify. Dieciséis personas de evaluación se prueban cinco veces en cuatro benchmarks; dos LLM juzgan PersonaGym. Se reportan precisión Pass@1, peor y mejor condición, media, PSS y cinco dimensiones de fidelidad.

Muestra: El entrenamiento controlado usa GSM8K y una base Llama-3.1-8B-Instruct. Hay 25 personas de entrenamiento y 16 de evaluación, distribuidas entre especialidad, nivel educativo, rasgos, roles y otros estilos. Cada condición de persona se ejecuta cinco veces. El artículo no informa del número exacto de preguntas de PersonaGym, de comparaciones del juez ni de salidas liberadas; no recluta evaluadores humanos.

Hallazgos

  • En MATH500, PerMix-RLVR eleva el peor caso de 34,0 % a 41,0 % frente a RLVR, reduce el mejor de 49,6 % a 48,6 % y deja la media casi igual, 47,1 % frente a 46,8 %; el PSS sube de 0,675 a 0,818.
  • El +21,2 % de MATH500 es el cambio relativo de PSS: el cambio absoluto es +0,143 y la ganancia media de precisión es +0,3 puntos porcentuales.
  • En GSM8K, PerMix-RLVR obtiene 86,4 % de media y PSS 0,975 frente a 86,1 % y 0,959 con RLVR; la diferencia es pequeña.
  • Persona Consistency mejora de 3,06 a 3,41, un +11,4 % relativo, mientras que la media completa de PersonaGym solo sube de 2,79 a 2,87 y dos de cinco dimensiones empeoran.
  • En LiveCodeBench Easy, PerMix mantiene la media de RLVR y eleva el PSS; en Medium eleva ligeramente la media pero reduce el PSS de 0,400 a 0,355, en contra de la afirmación de la leyenda de que ambos mejoran en todas las particiones.
  • En AIME24, PerMix-RLVR queda por debajo de RLVR en peor caso, mejor caso, media y PSS; en LiveCodeBench Hard ambos tienen PSS 0 y la media de PerMix es menor.
  • La comparación entre familias asocia Qwen3 con mayor estabilidad, pero confunde familia, escala, datos y receta de postentrenamiento y no identifica causalmente RLVR.

Limitaciones

  • PSS usa únicamente el mínimo y el máximo entre 16 condiciones, sin intervalo de confianza; es sensible a extremos ruidosos y no distingue estabilidad alta con buena precisión de estabilidad alta con precisión pobre.
  • Las expresiones 'significativamente' no se apoyan en pruebas de hipótesis, intervalos, bootstrap ni ajustes por comparaciones múltiples; las desviaciones reportadas describen dispersión entre personas.
  • Las etiquetas de las personas de entrenamiento y evaluación no coinciden literalmente, pero sus contenidos sí se solapan: estudiante elemental/kindergartener, profesor emérito/PhD y especialistas técnicos/STEM, entre otros.
  • Los prompts cambian identidad, conocimientos, tono, longitud y estrategia de resolución a la vez. Por ello, la variación no puede atribuirse a identidad o personalidad por separado y algunas personas reproducen estereotipos.
  • PersonaGym se evalúa solo con LLM, usa jueces distintos del trabajo original y no aporta calibración humana; el caso kindergartener compara modelos de distinta familia y tamaño.
  • La teoría presupone un verificador binario independiente del estilo, pero la implementación extrae respuestas de texto estilizado, por lo que el formato puede afectar la recompensa observada.
  • No se liberan código, checkpoints, datos reescritos, salidas, preguntas de PersonaGym, decisiones de los jueces, semillas ni configuraciones completas de decodificación.
  • El artículo es una prepublicación v1. El PDF incluye a MyeongSeok Kang, omitido en los metadatos de arXiv, y no se identificó una publicación formal ni un artefacto oficial.

Qué no demuestra

  • No demuestra que PerMix-RLVR mejore la estabilidad o la precisión en cualquier dominio, dificultad, modelo o conjunto de personas; los resultados difíciles y LiveCodeBench Medium contienen contraejemplos.
  • No prueba una mejora del 21,2 % en precisión ni del 11,4 % en el promedio total de PersonaGym; ambos porcentajes corresponden a métricas concretas y relativas.
  • No aísla que RLVR sea la causa de la menor fidelidad observada entre Qwen3-32B y Llama-3.1-8B, porque difieren familia, tamaño, datos y postentrenamiento.
  • No valida las personas como representaciones humanas auténticas ni demuestra seguridad ante personas dañinas o adversarias; 'harmful variation' significa aquí pérdida de rendimiento.
  • No demuestra el modelo teórico para el algoritmo finito implementado ni extiende su garantía a tareas de role-playing, que el propio artículo sitúa fuera del alcance formal.
  • No permite reproducir independientemente las cifras ni auditar los juicios de fidelidad con los artefactos públicos disponibles.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.08986v1 preprint

Fuente consultada: https://arxiv.org/pdf/2604.08986v1

Revisión: Codex 31-page visual full-text, TeX/source, metric arithmetic, prompt-pool, theory-scope, LLM-judge, artifact-search and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • meta-llama/Llama-3.1-8B-Instruct
  • Qwen3-32B teacher
  • Llama-3.1-70B teacher
  • Gemma-3-27B teacher
  • Qwen3 0.6B, 1.7B, 4B, 8B and 32B observational variants
  • Llama 3.1/3.2 1B, 8B and 70B observational variants
  • Gemma 3 1B, 4B, 12B and 27B observational variants
  • GPT-5-mini generator and judge
  • DeepSeek-v3.2 judge

Instrumentos y métricas

  • Persona Stability Score (minimum persona accuracy / maximum persona accuracy)
  • Pass@1 accuracy
  • PersonaGym: Expected Action, Action Justification, Linguistic Habits, Persona Consistency and Toxicity Control
  • DeepSeek-v3.2 pairwise persona-fidelity judgment

Datos utilizados

  • GSM8K
  • MATH500
  • AIME2024
  • LiveCodeBench v6
  • PersonaGym
  • GPT-5-mini persona-rewritten GSM8K targets
  • Sequence-level teacher generations

Evidencia y localización

  • Pregunta, observación entre familias, definición de PSS y comparación kindergartener: Paper, pp. 1-5, abstract and sections 1-3.1; Figure 1 and Table 1
  • Diseño de PerMix-RLVR, baselines y resultados controlados de GSM8K y MATH500: Paper, pp. 5-8, section 4; Table 2
  • Resultados de LiveCodeBench y límites de generalización: Paper, pp. 8-9 and 23-27; Table 4 and appendix hard-task tables
  • Configuración QLoRA, hiperparámetros, verificador y algoritmo: Paper, pp. 13-15, Appendix A; Tables 5-8 and Algorithm 1
  • Personas completas de entrenamiento y evaluación y solapamiento semántico: Paper, pp. 17-19, Appendix C; Tables 9-11
  • Jueces, cinco dimensiones y resultados completos de PersonaGym: Paper, pp. 22-23, Appendix B.2; Table 15
  • Supuestos, garantía ideal y exclusión de role-playing del alcance teórico: Paper, pp. 4-6 and 20, sections 3.2-3.3 and Appendix D; Proposition 1
  • Estatus v1, licencia y divergencia de autoría: arXiv abstract/Atom metadata and paper title page; PDF SHA-256 1919c9f5ff9bae5aeafdf83f8f327e00827e964019d2c59c4621c486ec876d4f
  • Ausencia de código, modelos y datasets oficiales: GitHub repository API and Hugging Face model/dataset API exact-name searches performed 2026-07-17
  • Auditoría integral de métricas, prompts, teoría, jueces, artefactos y reproducibilidad: reports/verification/article-372-permix-rlvr-pss-extreme-ratio-persona-pool-semantic-overlap-verifier-style-assumption-llm-judge-statistics-artifact-and-reproducibility-audit.json