HER: Human-like Reasoning and Reinforcement Learning for LLM Role-playing

HER proposes a two-layer textual format for role-play. Before responding, the model generates a hidden third-person system-thinking block to plan how to portray the character; it then produces first-person role thinking, actions, and dialogue. These traces are not observations of human thought: an unidentified commercial teacher synthesizes them from CoSER literary dialogues. The pipeline adds inner monologue, diversifies the ordering of thought/action/speech, and rewrites the plan offline with access to the realized continuation. Qwen3-32B-Base receives SFT followed by GRPO/DAPO-style RL. A Qwen3-32B generative reward model compares the policy response with a frozen SFT checkpoint using case-dependent principles.

The paper reports 53.12 on CoSER and 65.73 on MiniMax Role-Play Bench for HER-RL, versus 22.86 and 50.76 for Qwen3-32B. The differences are 30.26 and 14.97 score points, not percentages. Relative to the baselines, they correspond to approximately 132.37% and 29.49%. The gain attributable to RL over HER-SFT is much smaller: 2.20 CoSER points and 7.29 MiniMax points. HER-RL ranks eighth in the main table and remains below several proprietary models. The ablation raises CoSER from 48.64 without system thinking to 50.92 with that layer and 53.12 with RL, but it also changes computation, format, and supervision; it does not identify a human cognitive mechanism.

CoSER evaluation uses 200 twenty-round conversations and a single Qwen3-235B-A22B judge to score Qwen-derived and other systems. There are no CoSER intervals, repeated training runs, or seed-level ledger. The teacher-human comparison reserves only 50 pairs for testing after 150 are used to refine the prompt: agreement with consensus is 80.5%, and agreement between two experts is 84.0%. A separate calibration reports 81.5% raw agreement without a sample size. Table 3 also mentions 4,739 expert-annotated pairs without documenting their protocol. This evidence calibrates textual role-play preferences; it does not establish human reasoning, authentic mental states, consciousness, or psychological personality. The diversity evidence is mostly tag-order and n-gram variety.

The public release is substantial but does not reproduce the study end to end. Complete BF16 HER-32B and HER-RM-32B weights, four large JSONL files, a demo, and 69 code files are available; all Python files compile. However, there are no tests, CI, lockfile, logs, or result ledger; scripts required by the documentation are missing, many paths remain /path/to placeholders, ms-swift/verl launch configurations are absent, and the CoSER data expected by the evaluator are not included. The code stopped in January, before arXiv v4 and the final ACL paper. The released dataset also differs from the paper: 76,883 versus 72,656 multi-turn samples and 342,493 versus 323,600 single-turn samples.

Two ethical contradictions matter. The paper says that no user or user-derived data are used, while Appendix F describes explicit and implicit feedback collected during normal deployment. It also says that no raw copyrighted source text is released, while the dataset card declares original literary-text fields and public samples reproduce identifiable novel passages. An Apache-2.0 label does not itself resolve rights to each underlying work. The supported contribution is a structured-generation architecture, a contextual reward model, usable weights, and benchmark evidence of stronger role-play for an adapted Qwen model. It is not evidence of human cognitive emulation or a fully reproducible release. The paper is peer reviewed in Findings of ACL 2026, DOI 10.18653/v1/2026.findings-acl.1283.

HER propone un formato de role-play con dos capas textuales. Antes de responder, el modelo genera un bloque oculto de system thinking en tercera persona para planificar cómo representar al personaje; después produce role thinking en primera persona, acciones y diálogo. Esas trazas no proceden de pensamientos humanos observados: un modelo comercial no identificado las sintetiza a partir de diálogos literarios de CoSER. El pipeline añade monólogo interno, diversifica el orden de pensamiento/acción/habla y reescribe el plan con acceso offline a la continuación realizada. Qwen3-32B-Base recibe SFT y después RL tipo GRPO/DAPO. Un reward model generativo Qwen3-32B compara la respuesta de la política con la de un checkpoint SFT congelado usando principios dependientes del caso.

El paper informa 53,12 en CoSER y 65,73 en MiniMax Role-Play Bench para HER-RL, frente a 22,86 y 50,76 para Qwen3-32B. Las diferencias son 30,26 y 14,97 puntos, no porcentajes. Respecto al baseline, equivalen aproximadamente a 132,37% y 29,49% relativos. El salto atribuible a RL sobre HER-SFT es mucho menor: 2,20 puntos CoSER y 7,29 MiniMax. En la tabla principal HER-RL ocupa el octavo lugar y queda por debajo de varios modelos propietarios. La ablación sube CoSER de 48,64 sin system thinking a 50,92 con esa capa y a 53,12 con RL, pero también cambia cómputo, formato y supervisión; no identifica un mecanismo cognitivo humano.

La evaluación CoSER usa 200 conversaciones de 20 rondas y un único juez Qwen3-235B-A22B para puntuar modelos derivados de Qwen y otros sistemas. No hay intervalos de CoSER, repeticiones de entrenamiento ni ledger por semilla. El contraste teacher-humano reserva solo 50 pares para test después de usar 150 para ajustar el prompt: 80,5% de acuerdo con consenso y 84,0% entre dos expertos. Otra calibración declara 81,5% de acuerdo bruto sin tamaño muestral. Tabla 3 menciona además 4.739 pares anotados por expertos sin documentar su protocolo. Esta evidencia calibra preferencias textuales de role-play; no demuestra razonamiento humano, estados mentales auténticos, conciencia ni personalidad psicológica. La diversidad medida es principalmente variedad de órdenes de etiquetas y n-gramas.

La liberación pública es sustancial pero no reproduce el trabajo de extremo a extremo. Existen los pesos completos BF16 de HER-32B y HER-RM-32B, cuatro JSONL grandes, una demo y 69 archivos de código; todos los Python compilan. Sin embargo, no hay tests, CI, lockfile, logs ni resultados, faltan scripts que exige la propia guía, muchas rutas siguen como /path/to, no se publican las configuraciones ms-swift/verl ni los datos CoSER que espera el evaluador. El código quedó en enero, antes de arXiv v4 y ACL final. El dataset público tampoco coincide con el paper: 76.883 frente a 72.656 muestras multi-turn y 342.493 frente a 323.600 single-turn.

Hay dos contradicciones éticas importantes. El texto afirma que no usa datos de usuarios, pero el Apéndice F describe feedback explícito e implícito recogido durante despliegue normal. También afirma que no libera texto fuente protegido, mientras la ficha del dataset declara campos con texto literario original y las muestras públicas reproducen pasajes identificables de novelas. La etiqueta Apache-2.0 no resuelve por sí sola los derechos de cada obra. La contribución válida es una arquitectura de generación estructurada, un reward model contextual, pesos utilizables y evidencia benchmark de mejor role-play para un Qwen adaptado. No es prueba de emulación cognitiva humana ni un release plenamente reproducible. El trabajo sí está revisado por pares en Findings of ACL 2026, DOI 10.18653/v1/2026.findings-acl.1283.