Personality Vector: Modulating Personality of Large Language Models by Model Merging

Pregunta de investigación

¿Puede la diferencia de pesos entre un modelo base y modelos ajustados a extremos del Big Five funcionar como un vector escalable y componible que module de forma continua las salidas de modelos compatibles, preserve capacidades generales y se transfiera a personajes, otros idiomas y un modelo de visión-lenguaje?

Método

Los autores ajustaron por separado Llama-3.1-8B-Instruct y Qwen2.5-7B-Instruct en los diez subconjuntos de Big5-Chat, uno por nivel alto o bajo de cada rasgo, y definieron cada vector como pesos ajustados menos pesos base. Para Llama escalaron los diez vectores con 20 valores entre 0,1 y 2,0, construyeron 32 perfiles multirrasgo con cuatro coeficientes entre 0,1 y 0,4 y ensayaron sustracción con alfa -1. Compararon prompting, P² y NPTI con task arithmetic, TIES y DaRE. Midieron respuestas abiertas a los 44 ítems BFI mediante un juez GPT-4o, compuestos lingüísticos LIWC-22 sobre autopresentaciones de 300 palabras, AlpacaEval, MMBench y similitud coseno de estados ocultos; repitieron los experimentos cinco veces con temperatura 0,6. Validaron una muestra de 400 puntuaciones GPT con diez jueces humanos. Para transferencia fusionaron vectores con cuatro agentes de rol basados en Character-LLM, modelos Llama compatibles en coreano y chino y un VLM con backbone Llama, y realizaron una preferencia humana sobre respuestas a imágenes de PsychoFlicker.

Muestra: Big5-Chat aporta 100.000 diálogos, 10.000 para cada una de las diez condiciones alto/bajo del Big Five. Se entrenaron diez variantes por backbone para Llama y Qwen; cada ajuste usó dos A100 de 80 GB durante aproximadamente 40 minutos. El experimento principal de rasgo único produjo 200 fusiones Llama y el multirrasgo 128 configuraciones para 32 perfiles. Los ensayos se repitieron cinco veces con temperatura 0,6, aunque no se aclara si eso incluye nuevas semillas de entrenamiento. La validación del juez GPT utilizó 400 respuestas y diez anotadores humanos (8 hombres, 2 mujeres, edad media 29,1; 10 USD/hora). La evaluación VLM declara 200 imágenes y diez anotadores, pero la descripción de cómo se seleccionaron 20 imágenes de cinco usuarios por condición es aritméticamente ambigua.

Hallazgos

• El artículo se publicó en las actas principales de EMNLP 2025, páginas 24656-24677, con DOI 10.18653/v1/2025.emnlp-main.1253 y licencia CC BY 4.0.
• La versión final de EMNLP y arXiv v1 contienen el mismo cuerpo textual; la diferencia tokenizada observada se limita a la cabecera de las actas.
• El método requiere entrenar diez modelos de rasgo por backbone antes de que la fusión pueda operar sin entrenamiento adicional.
• Los ajustes usaron tres épocas, secuencia 2048, bfloat16 y 40 pasos de warm-up; Llama usó batch 64 y 5e-6, y Qwen batch 32 y 1e-5.
• Cada ajuste de personalidad se ejecutó con dos GPU A100 de 80 GB durante unos 40 minutos.
• En Llama, los modelos High alcanzan BFI 5,00, 4,89, 4,48, 4,69 y 4,38 para O, C, E, A y N, frente a 4,24, 3,65, 2,80, 4,24 y 2,57 del base.
• Los modelos Low de Llama alcanzan 2,06, 2,02, 1,95, 1,33 y 2,20 en esos cinco rasgos.
• En el experimento de un solo vector, alfa y la puntuación BFI del rasgo objetivo muestran correlaciones superiores a 0,9 con p<0,05.
• La intensidad lingüística LIWC también tiende a crecer con alfa, pero con correlaciones menores y mayor ruido que el BFI puntuado por GPT-4o.
• Escalar Low Agreeableness hasta alfa 2 produce lenguaje abiertamente hostil y agresivo, un riesgo mostrado por el propio artículo.
• La composición de cinco rasgos degrada la correlación respecto del caso de un solo vector por interferencia entre diferencias de pesos.
• En Llama, task arithmetic mejora de 0,575 a 0,646 de correlación BFI media al aplicar DaRE; TIES mejora de 0,577 a 0,623.
• En Llama, el prompt simple conserva la mejor correlación BFI multirrasgo, 0,834, por encima de todas las fusiones de pesos.
• En el compuesto lingüístico de Llama, task arithmetic + DaRE obtiene 0,304, apenas por encima del prompt, 0,289.
• El paper llama significativa a la mejora de DaRE, pero no presenta prueba estadística, intervalo ni error para esa comparación en Table 2.
• Las diez diferencias de pesos tienen similitudes coseno entre 0,30 y 0,55 fuera de la diagonal, compatibles con solapamiento, aunque no prueban por sí solas un mismo contenido semántico.
• La Tabla 3 contradice el texto de RQ3: al restar vectores Low, O, C, E, A y N quedan en 3,44, 3,22, 2,75, 3,60 y 1,75, todos por debajo del base y no por encima.
• Restar vectores High reduce las cinco puntuaciones y genera respuestas con descargos como 'As an AI', por lo que la negación también perjudica naturalidad y capacidad conversacional.
• En transferencia multilingüe, 18 de 20 condiciones cambian en la dirección pretendida; High Conscientiousness coreano baja de 4,00 a 3,38 y Low Neuroticism chino sube de 1,43 a 2,00.
• La Tabla 4 omite flechas precisamente en esas dos excepciones, aunque la prosa generaliza que la modulación fue exitosa en la dirección pretendida.
• El ejemplo cuantitativo de agentes de rol eleva la Extraversión de Beethoven de 2,4 a 3,9; el resto de la evidencia de personajes se presenta principalmente mediante gráficos radar y ejemplos.
• La transferencia coreana, china, de personajes y visual reutiliza un backbone o componente Llama compatible con los vectores, no una transferencia arbitraria entre arquitecturas.
• En la preferencia VLM, High Openness, High Extraversion y High Agreeableness reciben 100% de preferencia, pero High Neuroticism obtiene 40% frente a 60% de empates.
• Low Agreeableness solo obtiene 55% de preferencia con 45% de empates; por tanto, Figure 6 no respalda una preferencia clara uniforme en las diez condiciones.
• Los jueces VLM seleccionan la respuesta que ofrece una impresión más favorable de la imagen, no una medida independiente de que la respuesta exprese correctamente el rasgo.
• En Qwen, el prompt supera a la mejor fusión tanto en BFI medio (0,883 frente a 0,613) como en LIWC (0,364 frente a 0,242).
• El baseline P² alcanza correlaciones BFI medias de 0,888 en Llama, 0,922 en Qwen y 0,918 en GPT, mostrando que una descripción por prompt sigue siendo muy competitiva.
• El rendimiento AlpacaEval del rasgo único es visualmente estable entre 0,1 y 2,0, pero la composición multirrasgo cae cuando la suma de coeficientes supera 2,0.
• El modelo coreano muestra una pequeña reducción en AlpacaEval traducido y el VLM una pequeña reducción en MMBench; las figuras no aportan tablas numéricas ni incertidumbre.
• La validación humana declara correlación media entre jueces r=0,85 y correlación GPT-humano r=0,92, ambas con p<0,05.
• La similitud de estados ocultos cae en capas profundas para BFI, permanece por encima de 0,90 al comparar prompting y ajuste, y es casi constante en GSM8K; es evidencia descriptiva, no una identificación causal de representaciones.
• El repositorio oficial enlazado desde el PDF existe desde mayo de 2025 y publicaba scripts de fusión y entrevista.
• La versión del repositorio disponible durante la publicación no incluía el pipeline de entrenamiento; este se añadió el 19 de marzo de 2026 en el commit c83e619.
• A 15 de julio de 2026, el repositorio no contiene archivo LICENSE, release versionada, modelos, resultados crudos ni una ejecución integral automatizada de todos los experimentos del paper.
• El checklist Responsible NLP marca como reportados reclutamiento, consentimiento, geografía y uso de asistentes de IA, pero la sección A.3 citada no proporciona esos detalles completos.

Limitaciones

• La expresión 'sin entrenamiento adicional' solo es cierta en la fase de fusión.
• Extraer los vectores exige diez ajustes completos por cada backbone.
• El estudio entrena veinte modelos de rasgo entre Llama y Qwen antes de evaluar las fusiones.
• La transferencia de pesos requiere formas de parámetro y backbones compatibles.
• Los vectores de Llama no se transfieren a Qwen; para Qwen se entrenan vectores propios.
• La transferencia entre arquitecturas se infiere de patrones similares, no de aplicar el mismo vector entre Llama y Qwen.
• Los modelos coreano, chino, de personajes y visual comparten el backbone o componentes Llama usados para la fusión.
• Solo se estudian dos familias base abiertas de aproximadamente 7-8B parámetros.
• No se prueba la técnica en modelos mayores ni en arquitecturas incompatibles.
• Los vectores heredan cualquier sesgo, artefacto de estilo y confusión de tarea de Big5-Chat.
• No se separa cuánto del vector corresponde al rasgo y cuánto al estilo de los diálogos de ajuste.
• No se entrenan vectores con varios datasets independientes de personalidad.
• No se informa una replicación con varias semillas de entrenamiento.
• La afirmación de cinco repeticiones no aclara si se repite el ajuste o solo la generación estocástica.
• Las figuras principales no muestran barras de error pese a las cinco repeticiones.
• No se publican intervalos de confianza para las correlaciones o puntuaciones.
• No se publican p-valores exactos.
• No se informa corrección por comparaciones múltiples.
• Una correlación alta sobre coeficientes ordenados y construidos deliberadamente no equivale a validez psicológica.
• Las puntuaciones BFI proceden de respuestas generadas bajo la instrucción de imaginar ser una persona real.
• El BFI fue validado para autoinforme humano, no para modelos generativos.
• Las respuestas abiertas no siguen el procedimiento estándar de respuesta y puntuación del BFI.
• Un único juez GPT-4o convierte las respuestas abiertas en puntuaciones de 1 a 5.
• No se identifica el snapshot exacto, fecha, temperatura o semilla del GPT-4o evaluador.
• La evaluación depende de otro LLM y puede recompensar marcadores léxicos obvios producidos por el ajuste.
• La validación humana cubre 400 respuestas, pero no explica cómo se muestrearon entre rasgos, modelos y coeficientes.
• Diez anotadores son una base pequeña para validar todo el espacio experimental.
• La distribución de anotadores es 8 hombres y 2 mujeres y solo se informa la edad media.
• No se informa plataforma o procedimiento de reclutamiento.
• No se informa ubicación geográfica de los anotadores.
• No se describe cómo se obtuvo el consentimiento.
• Se declara aprobación IRB sin identificar institución, protocolo o número de aprobación.
• La correlación media entre jueces no mide acuerdo absoluto y no sustituye ICC, error o calibración.
• La correlación GPT-humano puede ser alta aunque exista sesgo sistemático de puntuación.
• No se publica una matriz de confusión, MAE ni distribución de desacuerdos GPT-humano.
• No se comprueba estructura factorial del Big Five en las respuestas generadas.
• No se prueba invariancia entre modelos, idiomas o modalidades.
• No se prueba fiabilidad test-retest en fechas separadas.
• No se evalúa si el perfil predice conducta fuera de preguntas y autopresentaciones explícitas.
• Los compuestos LIWC usan cinco indicadores seleccionados manualmente por rasgo.
• No se publican pesos ni orientaciones diferenciadas para indicadores LIWC que pueden asociarse en direcciones distintas.
• No queda claro sobre qué conjunto se calculan los mínimos y máximos de normalización LIWC.
• Una autopresentación de 300 palabras es una muestra conductual estrecha.
• Prompt, P², NPTI y vectores usan escalas y mecanismos distintos, sin igualar presupuesto de ajuste o selección de hiperparámetros.
• El modelo y la versión de ChatGPT usados para generar las descripciones P² no se identifican con precisión.
• La selección de neuronas y detalles reproducibles de NPTI se remiten a PersonalityBench y no se documentan completamente en este paper.
• La mejora llamada significativa de DaRE en Table 2 carece de prueba estadística publicada.
• El prompt simple supera ampliamente a las fusiones en BFI multirrasgo de Llama.
• El prompt simple supera a las fusiones tanto en BFI como en LIWC multirrasgo de Qwen.
• La ventaja LIWC de task arithmetic + DaRE sobre prompt en Llama es pequeña, 0,304 frente a 0,289.
• La composición pierde capacidad de seguimiento cuando se suman vectores solapados.
• La suma de coeficientes multirrasgo superior a 2 degrada AlpacaEval.
• No se optimiza un coeficiente independiente para cada rasgo del perfil.
• No se analiza sistemáticamente la interacción entre alfa, drop rate de DaRE y trim rate de TIES.
• La Tabla 3 contradice la interpretación de que restar un vector Low eleva el rasgo opuesto.
• La sustracción también induce descargos y deterioro conversacional.
• La similitud coseno entre vectores no demuestra que codifiquen una esencia común de personalidad.
• No se estudia ortogonalización ni aislamiento causal de rasgos.
• Dos de las veinte condiciones multilingües se mueven en la dirección contraria a la pretendida.
• AlpacaEval coreano se traduce con la API de GPT sin validación humana de equivalencia.
• No se evalúa invariancia psicométrica de BFI entre inglés, coreano y chino.
• La transferencia a personajes se concentra en cuatro figuras ficticias y unos pocos ejemplos.
• Los gráficos radar de personajes no aportan intervalos ni pruebas agregadas.
• El experimento VLM usa un modelo con componente Llama compatible y no prueba transferencia a VLM de otra familia.
• La frase de selección de PsychoFlicker, 20 imágenes cada una de cinco personas por condición, no cuadra con el total declarado de 200.
• No se publica la lista exacta de imágenes seleccionadas.
• La preferencia humana VLM mide impresión favorable, no correspondencia independiente con un rasgo psicológico.
• High Neuroticism obtiene mayoría de empates y Low Agreeableness solo una preferencia estrecha.
• No se describen cegamiento, aleatorización de lados ni acuerdo entre jueces para la tarea VLM.
• Los rasgos de usuarios de Flickr se usan para escoger imágenes, pero no validan que cada imagen exprese el rasgo asignado.
• AlpacaEval y MMBench se muestran como curvas sin tablas numéricas, error o contraste de equivalencia.
• La estabilidad visual de una curva no prueba ausencia de degradación relevante.
• La comparación de estados ocultos es correlacional y descriptiva.
• Una similitud coseno superior a 0,90 entre prompting y ajuste no demuestra representaciones psicológicas equivalentes.
• Figure 8c compara estados en GSM8K, pero no publica una evaluación completa de exactitud de razonamiento para esa intervención.
• El paper no realiza intervenciones causales capa por capa que localicen el supuesto rasgo.
• No se evalúa memoria, continuidad biográfica ni persistencia longitudinal de una personalidad.
• No se evalúa robustez a paraphraseo, orden de preguntas o prompts adversariales.
• No se hace una evaluación de seguridad amplia de los modelos modificados.
• El propio estudio observa lenguaje agresivo con Low Agreeableness y advierte uso indebido.
• No se cuantifica la frecuencia o severidad del comportamiento agresivo.
• El repositorio enlazado no fija un commit en el PDF.
• La versión del código existente durante la publicación no contenía el entrenamiento de los vectores.
• El pipeline de entrenamiento se añadió meses después de EMNLP 2025.
• El código de publicación contiene rutas absolutas locales, un placeholder de clave API y carga CUDA codificada.
• El script de entrevista de publicación intenta abrir config.json, que no aparece en ese snapshot.
• No hay archivo LICENSE en el repositorio oficial.
• No hay releases, tags, DOI de software ni pruebas automatizadas publicadas.
• No se publican checkpoints de los veinte modelos de rasgo ni de las fusiones.
• No se publican respuestas crudas, anotaciones humanas o resultados completos por repetición.
• El checklist afirma que se reportan reclutamiento, consentimiento, geografía y uso de asistentes de IA, pero la sección A.3 no contiene toda esa información.
• La generalización a dominios diversos se apoya en tres extensiones estrechamente compatibles y no en replicaciones independientes.

Qué no demuestra

• No demuestra que los LLM tengan personalidad humana interna.
• No valida el BFI como medida psicométrica de modelos generativos.
• No demuestra una identidad persistente fuera de las tareas evaluadas.
• No demuestra que cada vector contenga exclusivamente un rasgo Big Five.
• No separa personalidad de estilo, obediencia al prompt o distribución de Big5-Chat.
• No demuestra transferencia del mismo vector entre arquitecturas Llama y Qwen.
• No demuestra transferencia a modelos que no compartan parámetros compatibles.
• No demuestra que la fusión supere al prompting en BFI multirrasgo.
• No demuestra superioridad general sobre P².
• No demuestra composición independiente u ortogonal de los cinco rasgos.
• No demuestra que restar un vector Low invierta el rasgo en sentido opuesto.
• No demuestra que la sustracción preserve capacidad conversacional.
• No demuestra que las veinte condiciones multilingües cambien correctamente.
• No demuestra invariancia cultural o lingüística de las puntuaciones.
• No demuestra que la preferencia VLM mida personalidad en vez de tono favorable.
• No demuestra ausencia de pérdida de capacidades mediante una prueba de equivalencia.
• No demuestra que similitud de pesos o estados ocultos identifique un mecanismo causal.
• No demuestra que el control sea seguro a escalas altas.
• No ofrece reproducibilidad integral de los experimentos tal como se publicaron.
• No justifica interpretar los resultados como una representación universal y generalizable de personalidad.

Trazabilidad

Alcance: Texto completo

Versión: EMNLP 2025 main conference paper, ACL Anthology 2025.emnlp-main.1253, pp. 24656-24677, DOI 10.18653/v1/2025.emnlp-main.1253, CC BY 4.0

Fuente consultada: https://aclanthology.org/2025.emnlp-main.1253/

Revisión: Codex full-text, peer-reviewed-source, visual, bilingual-fidelity, weight-merging, psychometric-validity, baseline-comparison, transfer-claim, internal-consistency, reproducibility, code-history, safety and checklist-transparency audit, 2026-07-15

Aprobación: Codex fidelity pass, 2026-07-15

Modelos evaluados

• Llama-3.1-8B-Instruct
• Qwen2.5-7B-Instruct
• Llama-3.1-Korean-8B-Instruct
• Llama3.1-8B-Chinese-Chat
• Llama-3.1-8B-Vision
• Character-LLM role-playing variants
• GPT-4o evaluator
• ChatGPT-generated P² descriptions

Instrumentos y métricas

• Big Five Inventory (BFI), 44 open-ended interview items
• GPT-4o five-point BFI annotation
• LIWC-22 trait-specific composite features
• AlpacaEval instruction-following benchmark
• MMBench vision-language benchmark
• Human BFI annotation validation
• Human pairwise image-response preference
• Pearson correlation
• Cosine similarity of parameters and hidden states

Datos utilizados

• Big5-Chat
• Character-LLM
• PsychoFlicker
• GSM8K
• PersonalityBench
• AlpacaEval
• MMBench

Evidencia y localización

• Identidad bibliográfica, DOI, paginación y licencia: ACL Anthology 2025.emnlp-main.1253; EMNLP 2025; pp. 24656-24677; DOI 10.18653/v1/2025.emnlp-main.1253; CC BY 4.0
• PDF final completo inspeccionado: .cache/editorial-sources/article-082/source.pdf; sha256 49c53861a8e76964ba83e60313041d2f70e38761df01e98435d6a5022ec46a10
• Equivalencia de contenido entre arXiv v1 y EMNLP: Token-normalized comparison of arXiv v1 and EMNLP PDF: ratio 0.9995948; only inserted proceedings header after boilerplate filtering; audited 15 Jul 2026
• Definición de vectores, modelos y diseño: Sections 3-4, paper pp. 24658-24660
• Hiperparámetros, cómputo y coste de ajuste: Appendix A.1 and Table 5, paper p. 24669
• Resultados base, High y Low: Table 1, paper p. 24659
• Escalado de rasgo único, LIWC y lenguaje agresivo: Figures 2-3 and RQ1, paper pp. 24660-24661
• Comparación multirrasgo Llama: Table 2 and RQ2, paper pp. 24661-24662
• Contradicción de sustracción: Table 3 versus RQ3 prose, paper pp. 24662-24663: all Low-subtraction scores are below Base despite claim they increased
• Transferencia coreana y china y sus dos excepciones: Table 4 and Section 5.4.2, paper pp. 24662-24663
• Preferencias visuales y ejemplos VLM: Figures 6-7 and Section 5.4.3, paper pp. 24663-24664; Figure 17, p. 24677
• Análisis de estados ocultos: Figure 8 and Section 5.5, paper p. 24664
• Validación humana y compuestos LIWC: Appendix A.3 and Table 8, paper p. 24670
• Baselines P² y Qwen: Figures 9-10 and Table 9, paper p. 24672; Figures 14-15 and Table 10, p. 24674
• Rendimiento general y sensibilidad de coeficientes: Figures 11-13, paper p. 24673
• Resultados de agentes de rol: Figure 5, paper p. 24662; Tables 11-14 and Figure 16, pp. 24675-24676
• Limitaciones y riesgos reconocidos: Limitations and Ethical Considerations, paper pp. 24664-24665
• Checklist de responsabilidad inspeccionado: .cache/editorial-sources/article-082/supplements/audit/responsible-nlp-checklist.pdf; all 2 pages rendered and checked; sha256 aa3b94fc08ba2e9152840a0b43910b21e4ae3fad25c533f83df4233dcef34025
• Repositorio oficial y estado durante publicación: https://github.com/RSS-researcher/Personality_vector; publication-era commit a60ae5274dd588f907a69c20744a26dddd0d4dac; archived snapshot sha256 abbb9502abf42d9b3d376ea4c17c98c5ac6fd0afb45a8fab8aa830df17a14a01
• Estado actual del código y pipeline tardío: Official repository commit c83e619922f9e1ab9bca2d61311f724f4f26ed51 dated 19 Mar 2026; archived snapshot sha256 113d8f6c8c1aad2ab8d45009952b4138af28721a6ddf71660be30247099dd57a
• Lectura y comprobación visual integral: All 22 proceedings PDF pages and both Responsible NLP checklist pages rendered and inspected, including Tables 1-14 and Figures 1-17; checked 15 Jul 2026