Este preprint estudia si se puede modificar la expresión lingüística de los cinco rasgos OCEAN interviniendo directamente en activaciones internas de DeepSeek-R1-Distill-Llama-8B. Los autores usan un sparse autoencoder público de 32.768 características, entrenado sobre LMSYS-Chat-1M para la capa 19, y una colección declarada de 12.000 actualizaciones de estado tipo Facebook generadas con PsyBORGS. Construyen conjuntos de prompts que describen niveles altos y bajos de cada rasgo, extraen la activación del último token, comparan sus medias en el espacio latente del SAE y buscan características que asocian con mayor o menor expresión. Durante la generación añaden direcciones del decodificador a la activación de la capa 19. Una búsqueda en rejilla ajusta magnitud y número de características positivas y negativas mediante un objetivo que pretende equilibrar expresión del rasgo y rendimiento MMLU. La evaluación usa similitud coseno de text-embedding-ada-002 con dos textos de referencia no publicados por rasgo, juicios pareados de Claude 3.7 y GPT-4o, y una evaluación humana descrita solo como paralela. El artículo presenta diferencias visibles en ejemplos y en sus gráficos. En la figura de jueces LLM, la proporción de bloques clasificados como correctos con alta confianza es 50% para Apertura, 94% para Responsabilidad, 74% para Extraversión, 78% para Amabilidad y 92% para Neuroticismo. En humanos se muestran 30%, 98%, 65%, 58% y 95%, respectivamente. Es crucial no llamar a estos porcentajes exactitud binaria ordinaria: el método dice agrupar 20 comparaciones por ensayo y etiquetar como alta confianza un ensayo con más del 80% de aciertos; las barras representan la proporción de 200 ensayos en cada categoría. La relación entre 20 pares, 200 ensayos y 20 evaluaciones por ensayo no queda explicada. Tampoco se informa cuántas personas evaluaron, cómo fueron reclutadas, cuántas valoraciones recibió cada texto, si hubo aleatorización o cegamiento, acuerdo entre jueces, exclusiones, consentimiento o revisión ética. La similitud coseno aumenta bajo la condición positiva para los cinco rasgos, pero la condición negativa es mixta y para Apertura supera tanto a la neutral como a la positiva, lo que cuestiona una lectura monotónica. Los dos textos de referencia por rasgo no se publican y la métrica puede capturar tema, valencia, longitud o discusión explícita del rasgo en vez de su expresión psicológica. El propio artículo reconoce parte de esta limitación. Las conclusiones mecanicistas requieren todavía más cautela. El método aplica el encoder no lineal a la activación media, E(media h), en vez de promediar los códigos, media E(h); esas cantidades no son equivalentes y la primera no es la diferencia media de activación de características que el texto afirma ordenar. Además, se ordena por |Delta z| y se dice que para encontrar características negativas se invierten los conjuntos. Invertirlos solo cambia el signo de Delta z y deja idénticos todos los valores absolutos, de modo que, sin un filtro de signo no descrito, no puede producir rankings positivos y negativos distintos. También hay dos implementaciones incompatibles: las ecuaciones añaden vectores del decodificador al estado original, mientras otra sección codifica el estado, cambia coeficientes, reconstruye W^T a y reemplaza la activación, lo que puede eliminar el residuo de reconstrucción. El criterio de selección cambia igualmente entre el contraste alto-bajo y la correlación con puntuaciones en 200 prompts neutrales. La función objetivo resta la penalización de degradación en Métodos, pero la suma en Resultados; si C es una degradación positiva, la segunda fórmula premia peor rendimiento. No se define la escala exacta de los dos términos. La figura de hiperparámetros también contradice el texto: para Extraversión muestra magnitud positiva 10 y 13 características, y magnitud negativa 4 con 5 características; el párrafo dice 9 y 4 características con magnitudes 13 y 5. El problema experimental más importante es la reutilización aparente de los mismos 200 prompts para correlacionar y seleccionar características, calibrar la rejilla y evaluar. No se documentan conjuntos independientes de descubrimiento, validación y test bloqueado. Tampoco hay comparaciones con prompting, una dirección contrastiva sin SAE, direcciones aleatorias de igual norma, reconstrucción SAE sin intervención, fine-tuning u otros controles que permitan atribuir la mejora al SAE. MMLU se menciona como penalización, pero no se publica ninguna exactitud basal o intervenida, configuración, desglose o incertidumbre; por ello no queda respaldada la afirmación de conservar alto rendimiento en benchmarks. No hay intervalos de confianza, pruebas, distribución entre semillas ni evaluación de desplazamientos cruzados entre rasgos. Los autores sí muestran un límite práctico: con magnitud positiva 30 aparece una salida severamente incoherente, aunque cuatro ejemplos no constituyen una medida estadística de coherencia. La aportación defendible es exploratoria: integra un SAE existente con steering de activaciones y ofrece evidencia visual de que perturbaciones internas cambian patrones lingüísticos asociados a OCEAN. No demuestra características monosemánticas de personalidad, una representación psicológica estable, causalidad sobre un rasgo mental ni superioridad frente a controles sencillos. El SAE está disponible públicamente, pero el manuscrito no enlaza el supuesto codebase y no libera los 12.000 textos, prompts, índices de características, referencias, salidas, puntuaciones, MMLU, evaluaciones humanas, semillas o entorno. Aunque el TeX usa estilo ICML 2025 aceptado, no se encontró evidencia de aceptación o publicación y debe citarse como arXiv v1.
Pregunta de investigación
¿Puede una intervención aditiva sobre características latentes obtenidas con un sparse autoencoder cambiar de forma controlable el lenguaje asociado a cada rasgo OCEAN en DeepSeek-R1-Distill-Llama-8B sin degradar su rendimiento general?