Diagnosing and Repairing Persona Collapse in LLM Advice

El artículo define “persona collapse” como el uso casi invariable de una postura de consejo aunque cambie la situación. Representa cinco posturas en dos ejes, tono hedónico y apoyo a la agencia, y etiqueta con gpt-5.4-nano 1.281 respuestas mejor votadas de 14 contextos de Reddit. Las respuestas humanas se distribuyen entre Healer/Guide (49,2 %), Doomer (21,6 %), Stoic (14,7 %), Enabler (9,4 %) y Technician (5,1 %); GPT-5.1, Claude Opus 4.5 y Gemini 3 Pro concentran entre 89,2 % y 99,8 % en Healer. Esta referencia describe normas comunitarias, no calidad o eficacia del consejo. El juez alcanza 60,0 % de acuerdo exacto promedio sobre dos ejes y 84,1 % cuando se tolera ±1 en el eje de agencia. Para reparar el patrón, se crea un corpus de 8.262 pares y se comparan seis condiciones en OLMo3-7B, Llama-3.1-8B y Qwen3-4B. El fine-tuning aumenta diversidad y mejora kappa, pero la selección sigue débil (aproximadamente 0,194–0,215 para Inverse-Process) y confunde desafío constructivo con dureza corrosiva. La afirmación del abstract de reducir la divergencia “aproximadamente 80 %” no coincide con la Tabla 13: de Instruct a Inverse-Process la reducción JS es 62,3 %, 60,2 % y 61,1 % en los tres modelos. El estudio humano prerregistrado conserva 199 de 300 participantes y contradice su hipótesis principal: todas las variantes SFT reciben puntuaciones mucho peores que Instruct en ajuste, comprensión y honestidad, y mayores en daño; solo el cambio dentro de cuatro exposiciones es exploratorio. No se miden resultados longitudinales ni beneficio real. La versión de trabajo no enlaza código, datos, checkpoints o salidas, por lo que no permite reproducción independiente completa.

The paper defines “persona collapse” as using nearly the same advisory posture even when the situation changes. It places five postures in a two-axis space, hedonic tone and support for agency, and uses gpt-5.4-nano to label 1,281 top-voted responses from 14 Reddit contexts. Human responses distribute across Healer/Guide (49.2%), Doomer (21.6%), Stoic (14.7%), Enabler (9.4%), and Technician (5.1%), whereas GPT-5.1, Claude Opus 4.5, and Gemini 3 Pro place 89.2% to 99.8% of responses in Healer. This human reference describes community norms, not advice quality or effectiveness. The judge achieves 60.0% average exact agreement across the two axes and 84.1% when allowing ±1 on agency. For repair, the authors build an 8,262-item corpus and compare six conditions on OLMo3-7B, Llama-3.1-8B, and Qwen3-4B. Fine-tuning increases diversity and improves kappa, but item selection remains weak, approximately 0.194–0.215 for Inverse-Process, and repeatedly confuses constructive challenge with corrosive harshness. The abstract’s claim of reducing divergence by “approximately 80%” does not match Table 13: from Instruct to Inverse-Process, JS reduction is 62.3%, 60.2%, and 61.1% across the three models. The preregistered human study retains 199 of 300 recruits and contradicts its primary hypothesis: every SFT variant scores much worse than Instruct on tone fit, understanding, and truth, and higher on harm; only the change across four exposures is exploratory. No longitudinal outcome or actual benefit is measured. The working draft links no public code, data, checkpoints, or outputs, preventing full independent reproduction.