Mechanistic Personality Analysis of LLMs Steering Personality via Latent Feature Interventions

This preprint asks whether Big Five language expression can be changed by intervening directly in the hidden activations of DeepSeek-R1-Distill-Llama-8B. The authors use a public 32,768-feature sparse autoencoder trained on LMSYS-Chat-1M for layer 19 and report generating 12,000 PsyBORGS Facebook-style status updates. High- and low-trait prompt sets provide final-token activations. Their means are mapped into SAE space, features are ranked, and decoder directions are added during generation. A grid search tunes positive and negative feature counts and magnitudes under an objective intended to balance trait expression with MMLU performance. Evaluation combines text-embedding-ada-002 similarity to two unreleased references per trait, paired judgments from Claude 3.7 and GPT-4o, and a human evaluation described only as a parallel procedure. The paper shows visible changes in examples and figures. Its LLM chart reports high-confidence correct trial-bin shares of 50% for Openness, 94% for Conscientiousness, 74% for Extraversion, 78% for Agreeableness, and 92% for Neuroticism. The human chart reports 30%, 98%, 65%, 58%, and 95%. These numbers are not ordinary pairwise accuracy. The method groups 20 comparisons into a trial and calls a trial high-confidence correct when more than 80% are correct; the bars are the shares of 200 trials in each bin. The relation among 20 paired samples, 200 trials, and 20 evaluations per trial is unexplained. Human participant count, recruitment, assignments, ratings per item, randomization, blinding, agreement, exclusions, consent, and ethics review are all absent. Positive steering is plotted above neutral cosine similarity for every trait, but negative steering is mixed and for Openness exceeds both neutral and positive conditions. The two reference texts are not released, and embedding similarity may measure topic, valence, verbosity, or discussion of a trait rather than psychological expression. Several mathematical and implementation inconsistencies limit the mechanistic claim. The method computes E(mean h) rather than mean E(h); a nonlinear SAE makes these quantities different, so the displayed contrast is not the mean feature-activation difference described in prose. Features are ranked by absolute Delta z, yet the paper says swapping positive and negative sets finds negative features. Swapping only negates Delta z and leaves the absolute ranking unchanged, so distinct positive and negative feature sets require an unstated sign filter or different rule. The equations add decoder directions to the original hidden state, whereas another section encodes the state, modifies sparse coefficients, reconstructs W-transpose a, and replaces the state, potentially dropping the reconstruction residual. Feature selection also shifts from high-versus-low contrastive means to correlation with scores on 200 neutral prompts. The methods objective subtracts a degradation penalty, but the results equation adds it; the exact component scales are not defined. Figure 5 reports Extraversion magnitude/count values of 10/13 and 4/5, while the prose reports counts 9/4 and magnitudes 13/5. The central experimental threat is apparent reuse of the same 200 prompts for feature correlation and selection, grid calibration, and evaluation, with no independent discovery, validation, and locked test sets. There are no matched comparisons against prompt steering, direct contrastive activation addition, random directions, SAE reconstruction alone, or fine-tuning. MMLU is named as the performance term, but no baseline or steered accuracy, task configuration, breakdown, or uncertainty is published; the claim of preserved benchmark performance is therefore unsupported by displayed evidence. There are no confidence intervals, hypothesis tests, repeated-seed distributions, or cross-trait specificity tests. A magnitude-30 example visibly loses coherence, but four selected excerpts are not a statistical coherence study. The defensible contribution is exploratory: it integrates an existing SAE with activation steering and shows that internal perturbations can change language patterns associated with OCEAN. It does not establish monosemantic personality features, a stable psychological representation, causality over a mental trait, or superiority to simpler controls. The SAE checkpoint is public, but the claimed codebase is not linked and the 12,000 texts, prompts, feature indices, reference texts, outputs, scores, MMLU results, human ratings, seeds, and environment are not released. Despite using the accepted ICML 2025 style, no acceptance or publication evidence was located; the source should be cited as arXiv v1.

Este preprint estudia si se puede modificar la expresión lingüística de los cinco rasgos OCEAN interviniendo directamente en activaciones internas de DeepSeek-R1-Distill-Llama-8B. Los autores usan un sparse autoencoder público de 32.768 características, entrenado sobre LMSYS-Chat-1M para la capa 19, y una colección declarada de 12.000 actualizaciones de estado tipo Facebook generadas con PsyBORGS. Construyen conjuntos de prompts que describen niveles altos y bajos de cada rasgo, extraen la activación del último token, comparan sus medias en el espacio latente del SAE y buscan características que asocian con mayor o menor expresión. Durante la generación añaden direcciones del decodificador a la activación de la capa 19. Una búsqueda en rejilla ajusta magnitud y número de características positivas y negativas mediante un objetivo que pretende equilibrar expresión del rasgo y rendimiento MMLU. La evaluación usa similitud coseno de text-embedding-ada-002 con dos textos de referencia no publicados por rasgo, juicios pareados de Claude 3.7 y GPT-4o, y una evaluación humana descrita solo como paralela. El artículo presenta diferencias visibles en ejemplos y en sus gráficos. En la figura de jueces LLM, la proporción de bloques clasificados como correctos con alta confianza es 50% para Apertura, 94% para Responsabilidad, 74% para Extraversión, 78% para Amabilidad y 92% para Neuroticismo. En humanos se muestran 30%, 98%, 65%, 58% y 95%, respectivamente. Es crucial no llamar a estos porcentajes exactitud binaria ordinaria: el método dice agrupar 20 comparaciones por ensayo y etiquetar como alta confianza un ensayo con más del 80% de aciertos; las barras representan la proporción de 200 ensayos en cada categoría. La relación entre 20 pares, 200 ensayos y 20 evaluaciones por ensayo no queda explicada. Tampoco se informa cuántas personas evaluaron, cómo fueron reclutadas, cuántas valoraciones recibió cada texto, si hubo aleatorización o cegamiento, acuerdo entre jueces, exclusiones, consentimiento o revisión ética. La similitud coseno aumenta bajo la condición positiva para los cinco rasgos, pero la condición negativa es mixta y para Apertura supera tanto a la neutral como a la positiva, lo que cuestiona una lectura monotónica. Los dos textos de referencia por rasgo no se publican y la métrica puede capturar tema, valencia, longitud o discusión explícita del rasgo en vez de su expresión psicológica. El propio artículo reconoce parte de esta limitación. Las conclusiones mecanicistas requieren todavía más cautela. El método aplica el encoder no lineal a la activación media, E(media h), en vez de promediar los códigos, media E(h); esas cantidades no son equivalentes y la primera no es la diferencia media de activación de características que el texto afirma ordenar. Además, se ordena por |Delta z| y se dice que para encontrar características negativas se invierten los conjuntos. Invertirlos solo cambia el signo de Delta z y deja idénticos todos los valores absolutos, de modo que, sin un filtro de signo no descrito, no puede producir rankings positivos y negativos distintos. También hay dos implementaciones incompatibles: las ecuaciones añaden vectores del decodificador al estado original, mientras otra sección codifica el estado, cambia coeficientes, reconstruye W^T a y reemplaza la activación, lo que puede eliminar el residuo de reconstrucción. El criterio de selección cambia igualmente entre el contraste alto-bajo y la correlación con puntuaciones en 200 prompts neutrales. La función objetivo resta la penalización de degradación en Métodos, pero la suma en Resultados; si C es una degradación positiva, la segunda fórmula premia peor rendimiento. No se define la escala exacta de los dos términos. La figura de hiperparámetros también contradice el texto: para Extraversión muestra magnitud positiva 10 y 13 características, y magnitud negativa 4 con 5 características; el párrafo dice 9 y 4 características con magnitudes 13 y 5. El problema experimental más importante es la reutilización aparente de los mismos 200 prompts para correlacionar y seleccionar características, calibrar la rejilla y evaluar. No se documentan conjuntos independientes de descubrimiento, validación y test bloqueado. Tampoco hay comparaciones con prompting, una dirección contrastiva sin SAE, direcciones aleatorias de igual norma, reconstrucción SAE sin intervención, fine-tuning u otros controles que permitan atribuir la mejora al SAE. MMLU se menciona como penalización, pero no se publica ninguna exactitud basal o intervenida, configuración, desglose o incertidumbre; por ello no queda respaldada la afirmación de conservar alto rendimiento en benchmarks. No hay intervalos de confianza, pruebas, distribución entre semillas ni evaluación de desplazamientos cruzados entre rasgos. Los autores sí muestran un límite práctico: con magnitud positiva 30 aparece una salida severamente incoherente, aunque cuatro ejemplos no constituyen una medida estadística de coherencia. La aportación defendible es exploratoria: integra un SAE existente con steering de activaciones y ofrece evidencia visual de que perturbaciones internas cambian patrones lingüísticos asociados a OCEAN. No demuestra características monosemánticas de personalidad, una representación psicológica estable, causalidad sobre un rasgo mental ni superioridad frente a controles sencillos. El SAE está disponible públicamente, pero el manuscrito no enlaza el supuesto codebase y no libera los 12.000 textos, prompts, índices de características, referencias, salidas, puntuaciones, MMLU, evaluaciones humanas, semillas o entorno. Aunque el TeX usa estilo ICML 2025 aceptado, no se encontró evidencia de aceptación o publicación y debe citarse como arXiv v1.