Synthetic Personality Review

Beyond Static Personas: Situational Personality Steering for Large Language Models

Inducción y control de rasgos2026arXivRevisión editorial aprobada

Autores: Zesheng Wei, Mengxiang Li, Zilei Wang, Yang Deng

Palabras clave: Personality, Persona conditioning, Activation steering

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
8
Hallazgos
17
Limitaciones
4
Evidencias

Resumen editorial

Español

Wei y colaboradores adaptan a los LLM la idea psicológica de que una disposición puede expresarse de forma distinta según la situación. Su método IRIS construye, para cada dominio Big Five y 30 temas, un banco de unidades cuya frecuencia de activación difiere más de diez puntos porcentuales entre prompts de polos opuestos. Ante una pregunta nueva, compara su patrón de activación con los 30 patrones históricos, forma una mezcla de temas y aumenta unidades del polo deseado mientras suprime las del contrario. En Llama-3-8B-Instruct, un único juez GPT-4o le asigna 9,59/10 frente a 9,43 de NPTI en PersonalityBench y 9,26 frente a 9,09 en SPBench; el ajuste supervisado queda una o dos centésimas por encima. Cinco estudiantes de psicología también prefieren IRIS en el conjunto evaluado, con 35,4% de primeros puestos y rango medio 2,18. La evidencia respalda control adaptativo de la expresión textual, no personalidad humana ni neuronas psicológicas naturales. SPBench contiene 450 preguntas sintéticas generadas con GPT-4o; la recuperación fuerza toda entrada a 30 temas, algunas métricas top-k quedan cerca del azar y la validación usa otro clasificador sin split documentado. Las puntuaciones saturan cerca de diez, no hay intervalos ni repeticiones, la mayoría de polos reduce GSM8K o CommonsenseQA y no se publican código, datos, banco neuronal, salidas, revisiones, semillas ni entorno. Por ello el resultado es prometedor como técnica de steering, pero no reproducible de extremo a extremo con los materiales públicos.

English

Wei and colleagues adapt the psychological idea that a disposition can be expressed differently across situations to LLM steering. Their IRIS method builds, for each Big Five domain and 30 topics, a bank of units whose activation frequency differs by more than ten percentage points under opposite-pole prompts. For a new question, it compares the question's activation pattern with the 30 stored patterns, forms a topic mixture and increases units for the target pole while suppressing opposing ones. On Llama-3-8B-Instruct, one GPT-4o judge scores IRIS 9.59/10 versus NPTI's 9.43 on PersonalityBench and 9.26 versus 9.09 on SPBench; supervised fine-tuning remains one or two hundredths higher. Five psychology graduate students also favor IRIS in the evaluated sample, with 35.4% first-place rankings and a 2.18 mean rank. The evidence supports adaptive control of textual trait expression, not human personality or naturally psychological neurons. SPBench contains 450 synthetic GPT-4o-generated questions; retrieval forces every input into 30 topics, some top-k metrics are near chance and validation relies on another classifier without a documented split. Scores saturate near ten, there are no intervals or repeated runs, most personality poles lower GSM8K or CommonsenseQA point estimates, and no code, dataset, neuron bank, outputs, revisions, seeds or environment are released. The result is therefore promising as a steering technique but is not end-to-end reproducible from the public materials.

Pregunta de investigación

¿Puede una intervención neuronal que recupere patrones asociados a situaciones similares controlar la expresión Big Five de un LLM con más precisión que prompts y steering estático, y muestran sus activaciones una dependencia temática consistente?

Método

IRIS usa preguntas de PersonalityBench agrupadas en 30 temas. Para cada dominio Big Five, tema y polo, calcula por unidad la proporción de tokens de salida con activación positiva; diferencias mayores que ±10 puntos porcentuales definen unidades situacionales positivas y negativas. En inferencia obtiene un vector contrastivo para la pregunta, calcula similitud coseno con los bancos temáticos, normaliza por softmax y pondera la intervención: incrementa unidades positivas según similitud, gamma, percentil histórico 95 y una función sigmoide, y suprime unidades negativas sobre un umbral sigma. Compara con Simple Prompt, P2, ActAdd, NPTI y LoRA-SFT mediante un juez GPT-4o, evaluación humana, ablaciones, transferencia de modelo, tareas generales y latencia.

Muestra: El banco usa preguntas de identificación de PersonalityBench distribuidas entre cinco dominios, dos polos y 30 temas; el análisis LDA declara 1.200 preguntas por cada uno de cuatro temas seleccionados. La evaluación automática emplea aproximadamente 450 preguntas del test de PersonalityBench y 450 de SPBench, 90 por dominio. Cinco estudiantes de posgrado en psicología puntúan las 450 preguntas de SPBench y clasifican cuatro respuestas para 300 conjuntos de PersonalityBench.

Hallazgos

  • En PersonalityBench, IRIS alcanza media 9,59 y varianza 0,30 frente a 9,43 y 0,49 de NPTI; lidera los baselines directos en el promedio, pero no en Agreeableness ni Conscientiousness, y SFT obtiene media 9,61.
  • En SPBench, IRIS obtiene 9,26 y 0,58 frente a 9,09 y 0,66 de NPTI; SFT queda en 9,27 y Simple Prompt conserva la mejor media de Agreeableness.
  • La evaluación humana asigna a IRIS 35,4% de primeros puestos y rango medio 2,18, mejor que P2, NPTI y Simple Prompt en el conjunto presentado.
  • Los resultados automáticos favorecen a IRIS en Qwen3-8B, Gemma-3-12B-IT y Qwen3 de 0,6B, 8B y 14B, aunque gamma cambia entre familias y las puntuaciones están próximas al techo.
  • Los patrones de activación se separan por temas en PCA/LDA, evidencia de sensibilidad al contenido temático bajo prompts contrastivos, pero no una prueba de dinámica psicológica humana.
  • La recuperación semántica es desigual: en PersonalityBench, Agreeableness obtiene 6,1% top-2 y 17,2% top-5, prácticamente los niveles aleatorios de 6,7% y 16,7% para 30 clases.
  • Nueve de diez polos quedan por debajo del modelo base en GSM8K y siete de diez en CommonsenseQA; unos pocos polos mejoran, sin incertidumbre que permita distinguir efecto de variación.
  • El paquete fuente y la página ACL no publican implementación, SPBench, banco neuronal, respuestas, evaluaciones ni resultados en formato procesable.

Limitaciones

  • La expresión textual puntuada bajo prompts no es equivalente a personalidad humana, rasgo latente, identidad o consistencia conductual fuera del benchmark.
  • Persona neuron es una etiqueta operacional basada en un umbral arbitrario de diez puntos; no se prueba necesidad, suficiencia ni especificidad causal de cada unidad.
  • Las diferencias temáticas pueden recoger contenido, longitud, tokenización y estado generativo, y poner a cero unidades no seleccionadas favorece separación en PCA.
  • La LDA usa etiquetas de tema conocidas sin evaluación holdout o permutación; separar textos temáticos no establece una ley situación-conducta humana.
  • El softmax fuerza toda pregunta a una mezcla de 30 temas, sin categoría desconocida, abstención ni calibración fuera de distribución.
  • SPBench reutiliza las mismas 30 categorías del banco: generaliza a preguntas nuevas, no a categorías situacionales nuevas.
  • El clasificador usado como referencia semántica se entrena con todas las preguntas etiquetadas y no documenta split; además se denomina RoBERTa-Large 325M aunque el enlace apunta a XLM-RoBERTa Large de aproximadamente 0,6B.
  • SPBench es generado y refinado por GPT-4o a partir de facetas explícitas; su validez de inducción alta no demuestra cobertura ecológica o poblacional.
  • El resultado principal depende de un único juez GPT-4o, sin calibración humana de la escala, juez alternativo, repetición o análisis de sensibilidad.
  • Las puntuaciones se saturan cerca del máximo; diferencias de una o dos centésimas carecen de intervalos, tests, tamaños de efecto o réplica independiente.
  • La varianza se interpreta como estabilidad sin definir con precisión su unidad de agregación y no mide estabilidad entre ejecuciones con decodificación greedy.
  • La transferencia cambia gamma entre Llama, Qwen y Gemma, por lo que no mantiene fija toda la intervención.
  • La mayoría de configuraciones reduce los resultados puntuales de GSM8K o CommonsenseQA; las explicaciones causales propuestas proceden de casos, no de una mediación controlada.
  • Solo cinco evaluadores sustentan la validación humana; no se publican resultados por persona, datos, intervalos ni modelo que trate la dependencia por evaluador y pregunta.
  • La checklist marca no en consentimiento pese a afirmar en texto que se obtuvo, deja revisión ética en blanco y no justifica adecuación salarial frente al país de los participantes.
  • El artículo atribuye ReLU a Llama-3, pero la implementación oficial usa SiLU en una MLP SwiGLU, debilitando la descripción comparativa de arquitecturas.
  • Faltan código, dataset, respuestas, banco neuronal, anotaciones, outputs de jueces, revisiones de modelos, semillas, dependencias y comandos de reproducción.

Qué no demuestra

  • No demuestra que los LLM posean personalidad humana, rasgos psicométricos naturales, identidad, mente o experiencia.
  • No demuestra que las unidades seleccionadas sean neuronas de personalidad individuales ni que estén libres de confusión temática o lingüística.
  • No prueba una dinámica situación-conducta humana; muestra separabilidad temática y cambio causal de texto dentro de un diseño construido.
  • No demuestra generalización abierta a situaciones fuera de las 30 categorías ni dispone de un mecanismo para detectar esa condición.
  • No establece superioridad en todos los dominios, métricas o frente a SFT; varios baselines ganan celdas concretas y SFT conserva una media ligeramente mayor.
  • No establece que diferencias automáticas próximas al techo sean estadísticamente o prácticamente significativas.
  • No demuestra que el steering preserve razonamiento o seguimiento de instrucciones; la mayoría de polos reduce al menos una puntuación general.
  • No ofrece un benchmark SPBench público, licenciado y reproducible ni una ejecución integral desde artefactos abiertos.
  • No permite saber si todos los baselines se regeneraron bajo el mismo entorno o si parte de sus filas se importó del trabajo NPTI anterior.
  • No proporciona una reproducción verificable de los resultados, aunque el artículo haya sido aceptado y publicado en Findings of ACL 2026.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.13846v3; Findings of ACL 2026 final inspected as supplementary authoritative publication

Fuente consultada: https://arxiv.org/abs/2604.13846

Revisión: Codex dual 26-page visual full-text, TeX/source, ACL checklist, interface artifact, construct, retrieval, benchmark, statistics, human-study and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Llama-3-8B-Instruct
  • Qwen3-0.6B
  • Qwen3-8B
  • Qwen3-14B
  • gemma-3-12b-it
  • GPT-4o-2024-08-06 como juez y generador de SPBench
  • Claude-3.5-Sonnet-2024-10-22 como juez de SPBench
  • Clasificador enlazado como FacebookAI/xlm-roberta-large

Instrumentos y métricas

  • Marco Big Five
  • Probabilidad binaria de activación por unidad FFN
  • PCA y LDA
  • Similitud coseno y recuperación softmax
  • LLM-as-a-Judge de 1 a 5
  • Ranking humano ciego
  • GSM8K
  • CommonsenseQA

Datos utilizados

  • PersonalityBench
  • SPBench, 450 preguntas sintéticas no publicadas
  • Taxonomía de 30 temas derivada de UltraChat

Evidencia y localización

  • Publicación, método, resultados, apéndices, prompts, casos, límites y ética: Findings of ACL 2026, DOI 10.18653/v1/2026.findings-acl.958, 26 páginas renderizadas e inspeccionadas
  • Fuente editable y artefactos de figuras/interfaz, sin código ni datos: arXiv:2604.13846v3 source SHA-256 90637ffa444b5fc8ac299d901dcf175522d8a202c24484563b31846dd416c22d
  • Declaraciones de reproducibilidad, participantes, consentimiento, ética y asistencia de IA: Responsible NLP Checklist SHA-256 0a5acb75ccdbf92a0e4d1423818feeaadb6c1f6859b5c40efbfd152aa4e5f97c, 2 páginas inspeccionadas
  • Auditoría de constructo, recuperación, benchmark, estadística, artefactos y reproducibilidad: reports/verification/article-363-iris-situational-steering-construct-retrieval-evaluation-artifact-and-reproducibility-audit.json