Too Good to be Bad: On the Failure of LLMs to Role-Play Villains

El trabajo estudia si los modelos de lenguaje mantienen la fidelidad a personajes literarios cuando estos pasan de ser prosociales a egoístas o villanos. Presenta Moral RolePlay, un benchmark derivado de escenas de COSER. Gemini 2.5 Pro asigna a cada escena una puntuación de completitud, sentimiento, uno de cuatro niveles morales, paradigmas morales, personajes buenos con defectos, egoístas y villanos, y rasgos de un vocabulario de 77 etiquetas. El corpus publicado contiene 23.191 escenas y 54.591 apariciones de personajes clave. Para la evaluación principal se seleccionan 325 escenas y se anuncia un conjunto equilibrado de 800 personajes, 200 por nivel. Cada modelo recibe el perfil del personaje, el contexto narrativo y una instrucción de actuación; después, un juez LLM compara la simulación con los rasgos anotados y marca incoherencias con gravedad de 1 a 5. La puntuación Character Fidelity parte de 5, resta 0,5 por la suma de deducciones y 0,1 por la gravedad máxima, suma 0,15 por turno de diálogo del personaje y recorta el resultado al intervalo 0–5.

La comparación final abarca 18 sistemas. Las medias comunicadas descienden de 3,21 en el nivel 1 a 3,14, 2,71 y 2,62 en los niveles siguientes. Casi toda la caída ocurre entre personajes buenos con defectos y egoístas (-0,43); el paso de egoísta a villano es mucho menor (-0,09). La ordenación se conserva descriptivamente con instrucciones en primera y tercera persona. En siete modelos con modo de razonamiento, activarlo cambia las medias de 3,23/3,14/2,74/2,59 a 3,23/3,09/2,69/2,57: diferencias pequeñas y sin intervalos ni pruebas inferenciales. El ranking específico de villanos tampoco coincide bien con Arena. En las 17 filas transcritas en la tarjeta pública, la correlación de Pearson entre puntuaciones es aproximadamente 0,098 y la de Spearman 0,025; el artículo no reporta esos coeficientes ni su incertidumbre.

La auditoría del material público cambia varios detalles importantes. El JSON completo sí tiene 23.191 escenas y 54.591 apariciones, pero su distribución moral real es 22,987%, 56,740%, 18,514% y 1,757%, más un registro sin nivel, no 23,6%, 46,3%, 27,5% y 2,6% como afirma el paper. Esas apariciones corresponden a 11.934 identidades libro-personaje, no a 54.591 personajes independientes. Los dos test públicos tienen 325 escenas y 805 apariciones, 200/205/200/200 por nivel, no exactamente 800; solo hay 620 identidades libro-personaje y 19 personajes clave no hablan en la referencia. Las dos copias del test difieren además en un campo de 17 escenas. El número medio de turnos de referencia varía por nivel y la propia métrica premia los turnos, de modo que la puntuación no aísla fidelidad de rasgo.

La evidencia respalda una observación acotada: bajo estas etiquetas generadas, prompts y juez LLM, los grupos de menor moralidad reciben menor fidelidad media juzgada. No demuestra que el alineamiento de seguridad cause la caída. No hay pares controlados antes/después del alineamiento, medida o intervención de seguridad ni control de familia, capacidad, escena, complejidad, rasgos y oportunidades de diálogo. Tampoco se identifica el modelo juez en el paper: el README usa GPT-4o como ejemplo, el script elige dsr1 y el adaptador público devuelve un marcador fijo. No hay validación humana de etiquetas o juicios, fiabilidad entre evaluadores, barras de error, pruebas de significación, salidas de actores/jueces ni resultados recomputables. El código expone prompts y fórmula, y los datos permiten auditar conteos, pero los proveedores son plantillas sin implementar y la evaluación no se reproduce de extremo a extremo. El estudio es pertinente para simulación de personas narrativas y tensiones entre fidelidad y políticas, no como validación de personalidad psicológica, comprensión moral interna o superioridad de una mayor fidelidad a villanos.

This paper asks whether language models preserve fidelity to literary characters as those characters move from prosocial roles toward egoists and villains. It introduces Moral RolePlay, a benchmark derived from COSER narrative scenes. Gemini 2.5 Pro assigns scene completeness, sentiment, one of four moral levels, moral paragons, flawed but good characters, egoists, and villains, and traits from a 77-label vocabulary. The released corpus contains 23,191 scenes and 54,591 key-character portrayals. The main evaluation selects 325 scenes and describes a balanced set of 800 characters, 200 per level. Each tested model receives a character profile, narrative context, and acting instruction; an LLM judge then compares the simulation with the annotated traits and marks inconsistencies with severity from one to five. Character Fidelity starts at five, subtracts 0.5 times the sum of deductions and 0.1 times the maximum severity, adds 0.15 per dialogue turn by the character, and clips the result to 0–5.

The final comparison covers 18 systems. Reported averages fall from 3.21 at Level 1 to 3.14, 2.71, and 2.62 at the following levels. Most of the decline occurs between flawed-good characters and egoists (-0.43); the egoist-to-villain step is much smaller (-0.09). The descriptive ordering remains under first- and third-person prompts. Across seven hybrid reasoning models, enabling reasoning changes the averages from 3.23/3.14/2.74/2.59 to 3.23/3.09/2.69/2.57: small differences without intervals or inferential tests. The villain-specific leaderboard also corresponds poorly with Arena. Across the 17 rows transcribed in the public dataset card, Pearson correlation between scores is about 0.098 and Spearman correlation about 0.025; the paper itself supplies neither those coefficients nor their uncertainty.

Audit of the public artifacts changes several material details. The full JSON does contain 23,191 scenes and 54,591 portrayals, but its actual moral distribution is 22.987%, 56.740%, 18.514%, and 1.757%, plus one record without a level, rather than the paper's 23.6%, 46.3%, 27.5%, and 2.6%. Those portrayals represent 11,934 book-character identities, not 54,591 independent characters. Both public test files contain 325 scenes and 805 portrayals, 200/205/200/200 by level, rather than exactly 800; there are only 620 book-character identities, and 19 listed key characters have no turns in the reference dialogue. The two test copies also differ in one field for 17 scenes. Mean reference turns differ across moral levels, while the metric itself rewards turns, so the score does not isolate trait fidelity.

The evidence supports a bounded observation: under these generated labels, prompts, and LLM judge, lower-morality groups receive lower average judged fidelity. It does not demonstrate that safety alignment caused the decline. There are no controlled pre/post-alignment pairs, safety measure or intervention, or controls for provider family, capability, scene, complexity, traits, and dialogue opportunity. The judge model is not identified in the paper: the README uses GPT-4o as an example, the runner selects dsr1, and the public adapter returns a fixed placeholder. There is no human validation of labels or judgments, inter-rater reliability, error bars, significance testing, actor/judge outputs, or recomputable result ledger. The code exposes prompts and the formula, and the data allows count audits, but provider calls are unimplemented templates and the evaluation cannot be reproduced end to end. The work is relevant to narrative persona simulation and tensions between fidelity and policy, not as validation of psychological personality, internal moral understanding, or the claim that higher villain fidelity is inherently a better alignment outcome.