Enhancing Persona Following at Decoding Time via Dynamic Importance Estimation for Role-Playing Agents

Inducción y control de rasgos2026arXivRevisión editorial aprobada

Autores: Yuxin Liu, Mingye Zhu, Siyuan Liu, Bo Hu, Lei Zhang

Palabras clave: Personality, Persona conditioning, Role-playing agents, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
12
Hallazgos
28
Limitaciones
5
Evidencias

Resumen editorial

Español

El artículo, aceptado como póster en ICLR 2026, propone Persona Dynamic Decoding (PDD), un método sin ajuste fino para reforzar durante la decodificación los atributos de una ficha de personaje que parecen más relevantes para el contexto. Su módulo PIE genera primero una respuesta con el perfil completo y asigna importancia a cada atributo mediante el cociente entre la probabilidad de esa misma respuesta con y sin el atributo. PIA calcula después recompensas de razón de probabilidades para los atributos más importantes, las combina con esos pesos y pretende reponderar la distribución del siguiente token bajo una penalización KL. En la configuración principal se conservan dos atributos, se usa beta=1 y se necesitan aproximadamente tres distribuciones del modelo por token, además del cálculo inicial de importancia.

Los experimentos emplean Qwen2.5-7B-Instruct y LLaMA-3-8B-Instruct en CharacterEval, BeyondDialogue y PERSONALITYBENCH, con pruebas adicionales en Qwen2.5 de 3B y 14B. GPT-4o realiza comparaciones por pares; CharacterRM puntúa cinco dimensiones de rol y varios LLM, junto con cinco investigadores, juzgan cinco criterios de importancia definidos por los autores. PDD obtiene el mejor promedio abierto de CharacterRM: 2,85 frente a 2,83 para el mejor baseline en Qwen y 2,81 frente a 2,75 en LLaMA. En PERSONALITYBENCH alcanza 4,57 de media con ambos modelos. No gana, sin embargo, en todas las dimensiones que el texto afirma: queda por debajo de algún baseline en cuatro de cinco rasgos con Qwen y en extraversión y neuroticismo con LLaMA. Las comparaciones por pares suelen arrojar más victorias que derrotas, pero varias tasas de victoria quedan por debajo del 50 %. En el rebuttal, dynamic prompting logra 2,76 frente a 2,85 de PDD; un revisor mantuvo su nota porque la mejora de 0,09 no compensaba claramente el mayor coste.

La contribución defendible es una estrategia de steering contextual que, según los evaluadores elegidos, puede aumentar la expresión explícita de perfiles. Las afirmaciones teóricas y de aplicabilidad requieren mucha cautela. Sustituir una entropía por la log-probabilidad de una única respuesta autogenerada no demuestra una estimación de información mutua condicional, y el proxy es circular: la respuesta ya condicionada por el perfil decide qué partes del perfil se reforzarán. Además, las ecuaciones publicadas de la política escriben la recompensa como función del historial, no del token candidato; tal como están formuladas, el factor exponencial se cancela y la política queda igual a la base. Tampoco se define el primer token, la norma cero ni el tratamiento de importancias negativas. No existe código que permita resolver la ambigüedad. Faltan detalles estadísticos, fiabilidad de la evaluación humana, snapshots de modelos, datos procesados y salidas. La validación se limita sobre todo a personajes ficticios y rasgos Big Five explícitos, no a resultados sociales o poblaciones humanas. Un caso incluso premia como mayor fidelidad que el perfil de un menor homicida proponga hacer desaparecer personas sin dejar rastro, mostrando que más adherencia también puede amplificar conducta insegura.

English

Accepted as an ICLR 2026 Poster, the paper proposes Persona Dynamic Decoding (PDD), a training-free method intended to strengthen, during decoding, the character-profile attributes that appear most relevant to the current context. Its PIE module first generates a response with the full profile and scores each attribute through the probability ratio of that same response with and without the attribute. PIA then computes probability-ratio rewards for the highest-ranked attributes, combines them using PIE weights and aims to reweight the next-token distribution under a KL penalty. The main configuration keeps two attributes, uses beta=1 and requires roughly three model distributions per token in addition to the initial importance computation.

Experiments use Qwen2.5-7B-Instruct and LLaMA-3-8B-Instruct on CharacterEval, BeyondDialogue and PERSONALITYBENCH, with additional Qwen2.5 3B and 14B tests. GPT-4o performs pairwise comparisons; CharacterRM scores five role-playing dimensions; and several LLMs plus five researchers judge five author-defined importance criteria. PDD has the highest open-model CharacterRM average: 2.85 versus 2.83 for the strongest baseline on Qwen and 2.81 versus 2.75 on LLaMA. It averages 4.57 on PERSONALITYBENCH for both models. It does not, however, lead every dimension as the text claims: another baseline is higher on four of five Qwen traits and on LLaMA extraversion and neuroticism. Pairwise comparisons usually show more wins than losses, but several win rates remain below 50%. In rebuttal, dynamic prompting scores 2.76 versus 2.85 for PDD; one reviewer maintained the rating because the 0.09 gain did not clearly justify the extra compute.

The defensible contribution is a contextual steering strategy that can increase explicit profile expression under the selected evaluators. Its theoretical and application claims need substantial qualification. Replacing an entropy with the log probability of one self-generated response does not establish a conditional-mutual-information estimator, and the proxy is circular: a response already conditioned on the profile determines which profile components are reinforced. More seriously, the published policy equations write the reward as a function of the history rather than the candidate token; as written, the exponential factor cancels and the policy remains the base model. First-token behavior, a zero reward norm and negative importance scores are also undefined, and no code exists to resolve the ambiguity. Statistical details, human-evaluation reliability, model snapshots, processed data and outputs are missing. Evidence is primarily from fictional characters and explicit Big Five prompts rather than social outcomes or human populations. One highlighted case even rewards a 13-year-old murderer persona for proposing to make people disappear without a trace, showing that stronger adherence can also amplify unsafe behavior.

Pregunta de investigación

¿Puede estimarse dinámicamente qué atributos de una persona importan en cada contexto mediante las probabilidades del propio modelo y usarse esa estimación para mejorar, sin entrenamiento adicional, la fidelidad de agentes de rol durante la decodificación?

Método

PDD tiene dos módulos. PIE genera una respuesta G con el prompt completo T y calcula para cada atributo w_i el logaritmo de Pr(G|T) dividido por Pr(G|T_i), donde T_i elimina ese atributo. PIA conserva normalmente los dos atributos con mayor puntuación, calcula para cada uno una recompensa local de razón de probabilidades en una ventana de dos tokens, combina las recompensas mediante los pesos PIE, normaliza por su norma L2 y aplica una solución exponencial de un objetivo regularizado por KL. Se compara con prompting simple y de persona, ICL, OPAD y, en Big Five, NPTI y PAS. GPT-4o juzga pares; CharacterRM puntúa KE, KA, KH, PB y PU; cinco criterios PIE se valoran con tres LLM y cinco investigadores. Se añaden ablaciones de normalización, número de atributos, calidad de G, beta y escala del modelo.

Muestra: Los experimentos principales cubren dos modelos base y tres benchmarks; el PDF no publica el número exacto de ejemplos válidos por modelo, método y celda. La evaluación humana declara 100 muestras para el escenario general y 100 para personalidad específica, valoradas por cinco investigadores durante dos días, pero no explica cómo se agregan esas valoraciones a los porcentajes decimales de cada comparación. Las pruebas de escala añaden Qwen2.5-3B y 14B; la figura DSP usa 200 ejemplos.

Hallazgos

  • PDD obtiene el promedio CharacterRM más alto entre los métodos abiertos: 2,85 en Qwen y 2,81 en LLaMA.
  • El margen de promedio frente al mejor baseline es pequeño: 0,02 para Qwen y 0,06 para LLaMA.
  • Las comparaciones por pares suelen mostrar más victorias que derrotas, aunque varias tasas de victoria no alcanzan el 50 %.
  • PDD alcanza un promedio Big Five de 4,57 en ambos modelos.
  • La Tabla 3 contradice la superioridad por rasgo: PDD no lidera cuatro rasgos con Qwen ni extraversión/neuroticismo con LLaMA.
  • La normalización mejora los promedios CharacterRM de 2,80 a 2,85 y de 2,71 a 2,81.
  • Una G degradada reduce el solapamiento top-5 de 3,97 a 3,66, sin intervalos ni etiquetas externas de importancia.
  • Beta=0,5 produce 44,5 % de victorias, más que beta=1 usado en los experimentos principales.
  • PDD promedia 2,85 en Qwen2.5-3B y 3,26 en Qwen2.5-14B, por encima de los baselines reportados.
  • El rebuttal reporta 2,85 frente a 2,76 para dynamic prompting, con 47,0 % de victorias y 33,5 % de derrotas.
  • Los jueces humanos y LLM califican como plausibles los rankings PIE bajo cinco criterios creados por los autores.
  • Un caso demuestra que la modulación puede reforzar contenido violento coherente con un perfil, no solo estilo o fidelidad inocua.

Limitaciones

  • Una log-probabilidad de una sola secuencia no es una entropía ni prueba una estimación CMI.
  • G es generada con el perfil completo y luego sirve para decidir qué atributos reforzar, creando un proxy circular y autoconsistente.
  • La prueba teórica asume una función monótona desconocida, ruido iid acotado y una relación señal-ruido favorable no estimada.
  • El h propuesto depende también de la probabilidad base p, aunque se maneja como función solo del cociente t.
  • El gráfico DSP no valida importancia de persona y no informa coeficiente, intervalo ni ajuste.
  • La recompensa de Ecuación 9 usa una ventana de dos tokens e invoca y_0 en el primer paso sin convención definida.
  • Las ecuaciones y el algoritmo omiten la dependencia de R_norm respecto al token candidato; tal como están escritos, el reweighting se cancela.
  • No se define cómo tratar importancias o recompensas negativas, empates top-k ni una norma L2 igual a cero.
  • Cauchy-Schwarz no garantiza que recompensas token a token puedan alinearse proporcionalmente con la importancia ni que preserven su ranking.
  • No hay código para resolver las ambigüedades matemáticas o reproducir PDD.
  • Las cinco métricas PIE son ad hoc, miden plausibilidad visible y no se validan contra contribución causal o ground truth.
  • Los jueces ven el perfil o rasgo objetivo, favoreciendo expresión léxica explícita y estereotipada.
  • PERSONALITYBENCH usa descripciones generadas con ChatGPT y keywords de extracción no especificada.
  • Las puntuaciones directas están cerca del techo y los márgenes medios CharacterRM son pequeños.
  • La afirmación de superioridad consistente en cinco rasgos contradice la propia Tabla 3.
  • El PDF declara p<0,05 sin test, unidad, pairing, p exacta, efecto, intervalo o corrección; el rebuttal limita la significación individual.
  • Faltan denominadores por celda, fallos, ties, semillas, ejecuciones independientes y snapshots de modelos y jueces.
  • La evaluación humana no informa independencia de los autores, demografía, remuneración, blinding, orden, acuerdo interevaluador ni incertidumbre.
  • No se explica cómo 100 muestras y cinco evaluadores producen los porcentajes decimales de todas las comparaciones.
  • Top-2 requiere aproximadamente tres distribuciones por token; no hay latencia, throughput, memoria, energía o coste monetario reproducibles.
  • Los resultados de dynamic prompting, matched compute, CoSER y seguridad aparecen parcial o exclusivamente en rebuttal sin artefacto congelado.
  • Los benchmarks se concentran en personajes ficticios/chinos y descripciones Big Five explícitas.
  • No se evalúan poblaciones, elecciones, difusión, redes sociales ni correspondencia con resultados humanos reales.
  • La adherencia puede amplificar perfiles violentos, manipuladores o estereotipados; no existe evaluación de seguridad o sesgo.
  • La afirmación de filtrar atributos sensibles no puede auditarse y los perfiles mostrados retienen género, edad y otras identidades.
  • El paquete oficial contiene solo fuentes del manuscrito y figuras; faltan datos procesados, outputs, probabilidades, rankings, juicios y notebooks.
  • No se publican versiones exactas, plantillas, runtime, precisión, prompts serializados, parsers, reintentos ni política de errores.
  • No hay licencias o gobernanza específicas para los subconjuntos, perfiles procesados, descripciones generadas ni evaluación humana.

Qué no demuestra

  • No establece que el log-ratio de una respuesta autogenerada sea información mutua condicional.
  • No establece una importancia de persona externa, causal o humana.
  • No resuelve la circularidad de usar una respuesta condicionada por el perfil como proxy de verdad.
  • No publica una política token a token inequívoca y ejecutable.
  • No demuestra que PDD supere cada baseline en cada rasgo Big Five.
  • No demuestra que las mejoras medias pequeñas sean robustas a jueces, seeds, versiones o múltiples comparaciones.
  • No valida las cinco métricas PIE ni la fiabilidad de sus jueces.
  • No demuestra personalidad interna, estable, latente o similar a la humana.
  • No demuestra validez para simulación sociológica o predicción de resultados poblacionales.
  • No demuestra que el coste adicional sea ligero, eficiente o justificado en despliegue.
  • No demuestra seguridad para perfiles dañinos, menores, atributos sensibles o estereotipos.
  • No permite reproducir resultados, reconciliar las ecuaciones con la ejecución ni verificar el rebuttal sin código y datos.
  • No convierte experimentos descritos solo en respuestas de OpenReview en evidencia final congelada y reproducible.

Trazabilidad

Alcance: Texto completo

Versión: ICLR 2026 Poster, OpenReview submission 16516; arXiv:2603.01438v1 submitted 2026-03-02; no author-controlled public code/data artifact identified

Fuente consultada: https://arxiv.org/abs/2603.01438

Revisión: Codex 30-page visual full-text, TeX/source, OpenReview peer-review, CMI/proxy, token-policy, measurement, statistical, efficiency, safety, artifact and reproducibility audit, 2026-07-18

Aprobación: Codex fidelity pass, 2026-07-18

Modelos evaluados

  • Qwen2.5-7B-Instruct, revisión y runtime no especificados
  • LLaMA-3-8B-Instruct, revisión y runtime no especificados
  • Qwen2.5-3B-Instruct, análisis adicional
  • Qwen2.5-14B-Instruct, análisis adicional
  • GPT-4o como juez y comparador cerrado, snapshot no especificado
  • GPT-5 como juez PIE, snapshot no especificado
  • DeepSeek-R1 como juez PIE y comparador cerrado, revisión no especificada

Instrumentos y métricas

  • Persona Importance Estimation por log-ratio de probabilidad con ablación de atributos
  • Persona-Guided Inference-Time Alignment con recompensa multiobjetivo y regularización KL
  • CharacterRM: Knowledge Exposure, Knowledge Accuracy, Knowledge Hallucination, Persona Behavior y Persona Utterance
  • Comparación por pares mediante GPT-4o
  • Escala directa 1-5 de expresión Big Five
  • Cinco métricas PIE definidas por los autores: relevancia, utilidad, cobertura, independencia y consistencia de ranking
  • Evaluación humana por cinco investigadores
  • Ablaciones de normalización, top-k de atributos, calidad de G, beta y tamaño de modelo
  • Wilcoxon signed-rank mencionado solo en el rebuttal, sin resultados completos

Datos utilizados

  • CharacterEval: 1.785 diálogos multivuelta y 77 personajes chinos
  • BeyondDialogue: 280 roles chinos, 31 ingleses y 3.552 escenarios
  • PERSONALITYBENCH: 180.000 preguntas abiertas Big Five
  • DSP: 200 ejemplos seleccionados para un gráfico de probabilidad, no ground truth de importancia de persona
  • 100 muestras seleccionadas para evaluación humana general y 100 para personalidad específica, sin IDs ni asignaciones publicados
  • Paquete TeX oficial con manuscrito y 16 figuras, sin código, datos ni salidas

Evidencia y localización

  • Método, ecuaciones, algoritmo, experimentos, tablas, prompts, evaluación humana, ética y casos: ICLR 2026/arXiv:2603.01438v1, all 30/30 PDF pages rendered and individually inspected
  • Decisión, licencia, metarrevisión, cuatro revisiones y respuestas de autores: Official OpenReview forum lVE8H8QNcx, decision plus all 29/29 replies inspected 2026-07-18
  • Versión, fecha, autoría, comentario ICLR y paquete oficial de 23 archivos: Official arXiv abstract, Atom metadata and v1 TeX/source archive inspected 2026-07-18
  • Ausencia de repositorio e implementación públicos identificables: Official paper/OpenReview/source links plus exact-title, arXiv-ID, method-name, author and authenticated GitHub repository/code searches inspected 2026-07-18
  • Auditoría de proxy CMI, política token, métricas, estadísticas, coste, seguridad y reproducibilidad: reports/verification/article-397-pdd-cmi-proxy-token-reward-claim-statistics-safety-artifact-and-reproducibility-audit.json