El trabajo estudia si el aprendizaje por refuerzo con recompensas verificables (RLVR) hace que el rendimiento de un modelo dependa menos de la persona indicada en el prompt y, a la vez, reduzca su capacidad de mantenerse en personaje. Propone PerMix-RLVR: durante el entrenamiento con GSM8K se elige uniformemente una de 25 personas, se añade como mensaje de sistema y se conserva el mismo objetivo GRPO y el mismo verificador binario que en RLVR. La comparación controlada parte de Llama-3.1-8B-Instruct y usa QLoRA; incluye SFT, SFT con personas, destilación secuencial con tres profesores, RLVR y PerMix-RLVR. Se evalúan 16 prompts de persona, cinco ejecuciones por condición, en GSM8K, MATH500, AIME2024 y LiveCodeBench v6. La fidelidad se mide con PersonaGym, cuyas preguntas genera GPT-5-mini y cuyas respuestas juzgan GPT-5-mini y DeepSeek-v3.2. En MATH500, PerMix-RLVR eleva la precisión de la peor persona de 34,0 % a 41,0 %, reduce la mejor de 49,6 % a 48,6 % y apenas cambia la media, de 46,8 % a 47,1 %. El PSS, mínimo dividido por máximo, pasa de 0,675 a 0,818: el +21,2 % anunciado es una mejora relativa de ese cociente, no de precisión. En GSM8K, la media pasa de 86,1 % a 86,4 % y el PSS de 0,959 a 0,975. En PersonaGym, Persona Consistency sube de 3,06 a 3,41, que corresponde al +11,4 % del resumen; el promedio de las cinco dimensiones solo pasa de 2,79 a 2,87 y PerMix empeora Action Justification y Toxicity Control. La ventaja tampoco es uniforme: frente a RLVR, su PSS baja de 0,400 a 0,355 en LiveCodeBench Medium; en AIME24 empeoran peor caso, mejor caso, media y PSS; y en LiveCodeBench Hard todos los PSS son cero. La propuesta aporta una intervención sencilla y un resultado prometedor en la cola inferior de MATH500, pero el PSS depende de dos extremos y puede subir al reducir el máximo o aun con rendimiento uniformemente bajo. Los prompts mezclan identidad, estilo y estrategia de resolución; aunque sus etiquetas de entrenamiento y prueba son distintas, hay solapamientos semánticos claros. No se aportan pruebas inferenciales para las afirmaciones de significación, evaluación humana de la fidelidad ni código, checkpoints, salidas, semillas o registros de jueces. La teoría describe un óptimo idealizado con un verificador independiente del estilo y no garantiza el comportamiento del GRPO finito ni de PersonaGym. Es una prepublicación arXiv v1, no una publicación aceptada confirmada.
Pregunta de investigación
¿Reduce RLVR la sensibilidad del rendimiento a distintos prompts de persona a costa de la expresividad, y puede el entrenamiento RLVR con una mezcla de personas mejorar simultáneamente la estabilidad en tareas verificables y la fidelidad al personaje?