Mechanistic Personality Analysis of LLMs Steering Personality via Latent Feature Interventions

Inducción y control de rasgos2026arXivRevisión editorial aprobada

Autores: David Courtis, Ting Hu

Palabras clave: Big Five, Activation steering, Sparse autoencoder, Contrastive activation analysis, Mechanistic interpretability, DeepSeek-R1-Distill-Llama-8B, Personality evaluation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
7
Hallazgos
19
Limitaciones
7
Evidencias

Resumen editorial

Español

Este preprint estudia si se puede modificar la expresión lingüística de los cinco rasgos OCEAN interviniendo directamente en activaciones internas de DeepSeek-R1-Distill-Llama-8B. Los autores usan un sparse autoencoder público de 32.768 características, entrenado sobre LMSYS-Chat-1M para la capa 19, y una colección declarada de 12.000 actualizaciones de estado tipo Facebook generadas con PsyBORGS. Construyen conjuntos de prompts que describen niveles altos y bajos de cada rasgo, extraen la activación del último token, comparan sus medias en el espacio latente del SAE y buscan características que asocian con mayor o menor expresión. Durante la generación añaden direcciones del decodificador a la activación de la capa 19. Una búsqueda en rejilla ajusta magnitud y número de características positivas y negativas mediante un objetivo que pretende equilibrar expresión del rasgo y rendimiento MMLU. La evaluación usa similitud coseno de text-embedding-ada-002 con dos textos de referencia no publicados por rasgo, juicios pareados de Claude 3.7 y GPT-4o, y una evaluación humana descrita solo como paralela. El artículo presenta diferencias visibles en ejemplos y en sus gráficos. En la figura de jueces LLM, la proporción de bloques clasificados como correctos con alta confianza es 50% para Apertura, 94% para Responsabilidad, 74% para Extraversión, 78% para Amabilidad y 92% para Neuroticismo. En humanos se muestran 30%, 98%, 65%, 58% y 95%, respectivamente. Es crucial no llamar a estos porcentajes exactitud binaria ordinaria: el método dice agrupar 20 comparaciones por ensayo y etiquetar como alta confianza un ensayo con más del 80% de aciertos; las barras representan la proporción de 200 ensayos en cada categoría. La relación entre 20 pares, 200 ensayos y 20 evaluaciones por ensayo no queda explicada. Tampoco se informa cuántas personas evaluaron, cómo fueron reclutadas, cuántas valoraciones recibió cada texto, si hubo aleatorización o cegamiento, acuerdo entre jueces, exclusiones, consentimiento o revisión ética. La similitud coseno aumenta bajo la condición positiva para los cinco rasgos, pero la condición negativa es mixta y para Apertura supera tanto a la neutral como a la positiva, lo que cuestiona una lectura monotónica. Los dos textos de referencia por rasgo no se publican y la métrica puede capturar tema, valencia, longitud o discusión explícita del rasgo en vez de su expresión psicológica. El propio artículo reconoce parte de esta limitación. Las conclusiones mecanicistas requieren todavía más cautela. El método aplica el encoder no lineal a la activación media, E(media h), en vez de promediar los códigos, media E(h); esas cantidades no son equivalentes y la primera no es la diferencia media de activación de características que el texto afirma ordenar. Además, se ordena por |Delta z| y se dice que para encontrar características negativas se invierten los conjuntos. Invertirlos solo cambia el signo de Delta z y deja idénticos todos los valores absolutos, de modo que, sin un filtro de signo no descrito, no puede producir rankings positivos y negativos distintos. También hay dos implementaciones incompatibles: las ecuaciones añaden vectores del decodificador al estado original, mientras otra sección codifica el estado, cambia coeficientes, reconstruye W^T a y reemplaza la activación, lo que puede eliminar el residuo de reconstrucción. El criterio de selección cambia igualmente entre el contraste alto-bajo y la correlación con puntuaciones en 200 prompts neutrales. La función objetivo resta la penalización de degradación en Métodos, pero la suma en Resultados; si C es una degradación positiva, la segunda fórmula premia peor rendimiento. No se define la escala exacta de los dos términos. La figura de hiperparámetros también contradice el texto: para Extraversión muestra magnitud positiva 10 y 13 características, y magnitud negativa 4 con 5 características; el párrafo dice 9 y 4 características con magnitudes 13 y 5. El problema experimental más importante es la reutilización aparente de los mismos 200 prompts para correlacionar y seleccionar características, calibrar la rejilla y evaluar. No se documentan conjuntos independientes de descubrimiento, validación y test bloqueado. Tampoco hay comparaciones con prompting, una dirección contrastiva sin SAE, direcciones aleatorias de igual norma, reconstrucción SAE sin intervención, fine-tuning u otros controles que permitan atribuir la mejora al SAE. MMLU se menciona como penalización, pero no se publica ninguna exactitud basal o intervenida, configuración, desglose o incertidumbre; por ello no queda respaldada la afirmación de conservar alto rendimiento en benchmarks. No hay intervalos de confianza, pruebas, distribución entre semillas ni evaluación de desplazamientos cruzados entre rasgos. Los autores sí muestran un límite práctico: con magnitud positiva 30 aparece una salida severamente incoherente, aunque cuatro ejemplos no constituyen una medida estadística de coherencia. La aportación defendible es exploratoria: integra un SAE existente con steering de activaciones y ofrece evidencia visual de que perturbaciones internas cambian patrones lingüísticos asociados a OCEAN. No demuestra características monosemánticas de personalidad, una representación psicológica estable, causalidad sobre un rasgo mental ni superioridad frente a controles sencillos. El SAE está disponible públicamente, pero el manuscrito no enlaza el supuesto codebase y no libera los 12.000 textos, prompts, índices de características, referencias, salidas, puntuaciones, MMLU, evaluaciones humanas, semillas o entorno. Aunque el TeX usa estilo ICML 2025 aceptado, no se encontró evidencia de aceptación o publicación y debe citarse como arXiv v1.

English

This preprint asks whether Big Five language expression can be changed by intervening directly in the hidden activations of DeepSeek-R1-Distill-Llama-8B. The authors use a public 32,768-feature sparse autoencoder trained on LMSYS-Chat-1M for layer 19 and report generating 12,000 PsyBORGS Facebook-style status updates. High- and low-trait prompt sets provide final-token activations. Their means are mapped into SAE space, features are ranked, and decoder directions are added during generation. A grid search tunes positive and negative feature counts and magnitudes under an objective intended to balance trait expression with MMLU performance. Evaluation combines text-embedding-ada-002 similarity to two unreleased references per trait, paired judgments from Claude 3.7 and GPT-4o, and a human evaluation described only as a parallel procedure. The paper shows visible changes in examples and figures. Its LLM chart reports high-confidence correct trial-bin shares of 50% for Openness, 94% for Conscientiousness, 74% for Extraversion, 78% for Agreeableness, and 92% for Neuroticism. The human chart reports 30%, 98%, 65%, 58%, and 95%. These numbers are not ordinary pairwise accuracy. The method groups 20 comparisons into a trial and calls a trial high-confidence correct when more than 80% are correct; the bars are the shares of 200 trials in each bin. The relation among 20 paired samples, 200 trials, and 20 evaluations per trial is unexplained. Human participant count, recruitment, assignments, ratings per item, randomization, blinding, agreement, exclusions, consent, and ethics review are all absent. Positive steering is plotted above neutral cosine similarity for every trait, but negative steering is mixed and for Openness exceeds both neutral and positive conditions. The two reference texts are not released, and embedding similarity may measure topic, valence, verbosity, or discussion of a trait rather than psychological expression. Several mathematical and implementation inconsistencies limit the mechanistic claim. The method computes E(mean h) rather than mean E(h); a nonlinear SAE makes these quantities different, so the displayed contrast is not the mean feature-activation difference described in prose. Features are ranked by absolute Delta z, yet the paper says swapping positive and negative sets finds negative features. Swapping only negates Delta z and leaves the absolute ranking unchanged, so distinct positive and negative feature sets require an unstated sign filter or different rule. The equations add decoder directions to the original hidden state, whereas another section encodes the state, modifies sparse coefficients, reconstructs W-transpose a, and replaces the state, potentially dropping the reconstruction residual. Feature selection also shifts from high-versus-low contrastive means to correlation with scores on 200 neutral prompts. The methods objective subtracts a degradation penalty, but the results equation adds it; the exact component scales are not defined. Figure 5 reports Extraversion magnitude/count values of 10/13 and 4/5, while the prose reports counts 9/4 and magnitudes 13/5. The central experimental threat is apparent reuse of the same 200 prompts for feature correlation and selection, grid calibration, and evaluation, with no independent discovery, validation, and locked test sets. There are no matched comparisons against prompt steering, direct contrastive activation addition, random directions, SAE reconstruction alone, or fine-tuning. MMLU is named as the performance term, but no baseline or steered accuracy, task configuration, breakdown, or uncertainty is published; the claim of preserved benchmark performance is therefore unsupported by displayed evidence. There are no confidence intervals, hypothesis tests, repeated-seed distributions, or cross-trait specificity tests. A magnitude-30 example visibly loses coherence, but four selected excerpts are not a statistical coherence study. The defensible contribution is exploratory: it integrates an existing SAE with activation steering and shows that internal perturbations can change language patterns associated with OCEAN. It does not establish monosemantic personality features, a stable psychological representation, causality over a mental trait, or superiority to simpler controls. The SAE checkpoint is public, but the claimed codebase is not linked and the 12,000 texts, prompts, feature indices, reference texts, outputs, scores, MMLU results, human ratings, seeds, and environment are not released. Despite using the accepted ICML 2025 style, no acceptance or publication evidence was located; the source should be cited as arXiv v1.

Pregunta de investigación

¿Puede una intervención aditiva sobre características latentes obtenidas con un sparse autoencoder cambiar de forma controlable el lenguaje asociado a cada rasgo OCEAN en DeepSeek-R1-Distill-Llama-8B sin degradar su rendimiento general?

Método

Estudio experimental exploratorio con un único modelo y una única capa. Genera 12.000 estados sintéticos con prompting OCEAN, contrasta activaciones finales de prompts altos y bajos, usa un SAE preentrenado para proponer características, interviene activaciones en inferencia y ajusta magnitudes y cantidades mediante búsqueda en rejilla. Evalúa con embeddings de OpenAI, jueces Claude 3.7 y GPT-4o, una evaluación humana no especificada y una penalización MMLU cuyos resultados numéricos no se publican.

Muestra: El artículo declara 12.000 actualizaciones de estado sintéticas con intensidades OCEAN 1-3 y 7-9, omitiendo niveles medios, pero no da reparto por rasgo o nivel ni publica los datos. Para evaluación declara 200 prompts neutrales. Para jueces habla a la vez de 20 pares y 200 ensayos de 20 evaluaciones por rasgo; no aclara reutilización ni unidad de análisis. La muestra humana y el número de valoraciones son desconocidos.

Hallazgos

  • Las perturbaciones producen diferencias lingüísticas visibles entre ejemplos tuned up y tuned down en los cinco rasgos.
  • Las barras LLM muestran proporciones de ensayos en alta confianza de 50%, 94%, 74%, 78% y 92% para O, C, E, A y N; no son exactitud ordinaria por par.
  • Las barras humanas muestran 30%, 98%, 65%, 58% y 95%, pero carecen de denominadores y protocolo auditables.
  • La condición positiva presenta mayor similitud coseno que la neutral para todos los rasgos; la condición negativa es mixta y para Apertura supera a neutral y positiva.
  • La figura de objetivo marca máximos de 0,0343, 0,0467, 0,0321, 0,0375 y 0,0494 para O, C, E, A y N, pero son valores optimizados sobre una métrica y conjunto no claramente separados.
  • Una salida de Neuroticismo a magnitud 30 pierde coherencia de forma visible; el artículo no cuantifica esa degradación.
  • Responsabilidad y Neuroticismo son los rasgos con mayor proporción de bloques de alta confianza en jueces LLM y humanos dentro del protocolo publicado.

Limitaciones

  • Un solo modelo, una sola capa, un único SAE y una única tarea de actualización de estado limitan la generalización.
  • E(media h) no equivale a media E(h) para un encoder no lineal; la medida no es la diferencia media de activación de características.
  • Invertir conjuntos y ordenar por valor absoluto produce el mismo ranking, por lo que la separación positiva-negativa está incompleta o mal especificada.
  • Las ecuaciones de adición directa y la reconstrucción desde código sparse describen intervenciones distintas y potencialmente confusas.
  • El manuscrito no resuelve si selecciona características por contraste alto-bajo o por correlación con los 200 outputs neutrales.
  • La función objetivo cambia de signo para la penalización entre Métodos y Resultados y no define escalas comparables.
  • Texto y figura contradicen los hiperparámetros óptimos de Extraversión.
  • Los mismos 200 prompts parecen intervenir en selección, calibración y evaluación; no se documenta test final bloqueado.
  • No hay baselines de prompting, CAA directa, direcciones aleatorias, reconstrucción SAE, fine-tuning o controles de igual norma.
  • Dos referencias no publicadas y embeddings pueden confundir tema, valencia, estilo o longitud con expresión de personalidad.
  • Los porcentajes de clasificación resumen ensayos binados por umbrales; no se publica exactitud por par ni la estructura de dependencia.
  • La evaluación humana omite tamaño muestral, reclutamiento, consentimiento, asignación, cegamiento, acuerdo y datos brutos.
  • Los jueces LLM carecen de snapshots exactos, configuración, fechas, balance de orden y análisis de acuerdo.
  • No se publican resultados MMLU pese a afirmar preservación del rendimiento general.
  • No hay intervalos, pruebas estadísticas, multiplicidad, semillas repetidas o incertidumbre.
  • No se prueba especificidad entre rasgos ni cambios simultáneos en los otros cuatro rasgos.
  • Las características seleccionadas no se etiquetan ni interpretan individualmente; monosemanticidad y mecanismo psicológico no se validan.
  • No se evalúan toxicidad, sesgo, veracidad, factualidad, refusals, engaño, persuasión o seguridad.
  • El codebase mencionado no está enlazado y faltan todos los artefactos específicos del estudio.

Qué no demuestra

  • No establece que los LLM posean personalidad humana ni rasgos psicológicos estables.
  • No identifica características monosemánticas o mecanismos causales de personalidad.
  • No demuestra que el SAE aporte valor frente a direcciones contrastivas o controles más simples.
  • No demuestra generalización a otros modelos, capas, tareas, idiomas o contextos conversacionales.
  • No respalda la afirmación de conservar MMLU o rendimiento general con resultados numéricos publicados.
  • No demuestra validez psicométrica de embeddings, jueces LLM o evaluación humana.
  • No permite interpretar los porcentajes de alta confianza como exactitud individual ordinaria.
  • No descarta sobreajuste por selección y ajuste sobre los mismos prompts y métricas.
  • No demuestra control independiente de un rasgo sin alterar los demás.
  • No permite reproducción end-to-end ni reanálisis independiente.
  • No ofrece evidencia suficiente para despliegues de persuasión, salud mental, evaluación psicológica o agentes de alto riesgo.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.28770v1

Fuente consultada: https://arxiv.org/pdf/2606.28770

Revisión: Codex 16-page full-text visual, TeX, figure, mathematical, implementation, evaluation, human-subject, artifact, reproducibility, safety and claim audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • DeepSeek-R1-Distill-Llama-8B
  • qresearch/DeepSeek-R1-Distill-Llama-8B-SAE-l19
  • text-embedding-ada-002
  • Claude 3.7 as LLM judge
  • GPT-4o as LLM judge

Instrumentos y métricas

  • PsyBORGS structured personality prompting
  • Final-token layer-19 activation extraction
  • Sparse-autoencoder latent feature ranking
  • Additive activation steering
  • 5x5x5x5 grid search with coordinate refinement
  • Cosine similarity to two reference texts per trait
  • Twenty-pair high, middle and incorrect confidence binning
  • Human paired comparison with unreported protocol
  • MMLU performance penalty with unreported numerical results

Datos utilizados

  • LMSYS-Chat-1M, used previously to train the public SAE
  • 12,000 reported PsyBORGS-generated Facebook-style status updates, not released
  • Two hundred reported neutral everyday and knowledge prompts, not released
  • Two trait-reference text files per OCEAN trait, not released
  • MMLU, configuration and results not reported

Evidencia y localización

  • Metadatos, comentario de fecha, autores y categoría: Official arXiv record 2606.28770v1, checked 2026-07-16
  • Corpus sintético, contraste de activaciones y SAE: arXiv v1, Sections 3.1-3.2 and equations 1-8
  • Embeddings, jueces, evaluación humana y MMLU: arXiv v1, Section 3.2.1-3.2.2
  • Steering, grid search, reconstrucción y selección por correlación: arXiv v1, Sections 3.3-3.5 and equations 9-14
  • Porcentajes, similitud, hiperparámetros y función objetivo: arXiv v1, Section 4, Figures 2-6 and equations 15-16
  • Ejemplos cualitativos, pérdida de coherencia y limitaciones declaradas: arXiv v1, Tables 2-4 and Sections 4.3-6
  • Auditoría consolidada de matemática, implementación, selección, evaluación, artefactos, seguridad y límites de afirmación: reports/verification/article-291-arxiv-icml-template-feature-sign-inversion-encoded-mean-reconstruction-selection-leakage-human-evaluation-mmlu-artifact-and-claim-audit.json