Synthetic Personality Review

A Systematic Analysis of the Impact of Persona Steering on LLM Capabilities

Inducción y control de rasgos2026arXivRevisión editorial aprobada

Autores: Jiaqi Chen, Ming Wang, Tingna Xie, Shi Feng, Yongkang Liu

Palabras clave: Personality, Persona conditioning, Activation steering

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
8
Hallazgos
16
Limitaciones
4
Evidencias

Resumen editorial

Español

Chen y colaboradores aplican Neuron-based Personality Trait Induction, NPTI, a ocho configuraciones abiertas de modelos y comparan un baseline con diez intervenciones altas o invertidas de Big Five en seis benchmarks. El preprint informa efectos grandes y dependientes de la tarea: los promedios de las diez condiciones mejoran IFEval entre 10,9 y 15,1 puntos en cuatro modelos de 7B-9B, mientras todas empeoran BBH y Extraversion invertida llega a -39,5 puntos. Openness y Extraversion presentan los mayores gaps agregados, y los autores describen un 73,68% de concordancia direccional con relaciones humanas. Sin embargo, el código contradice el método: el steering aplica máscaras aleatorias con probabilidad 0,9, sin semilla ni réplicas, pese a llamarse determinista. GPQA coloca siempre la respuesta correcta en A, los denominadores de uniformidad y concordancia no se explican y faltan outputs para verificar tablas. Dynamic Persona Routing tampoco selecciona una respuesta: cuenta un acierto retrospectivo si cualquiera de varias personas recomendadas habría resuelto el test, una cobertura oracle comparada injustamente con una sola persona estática. El repositorio permite inspeccionar parte de NPTI, pero no incluye DPR, baseline de benchmarks, datos, neuronas, resultados, análisis, entorno fijado ni ejecución limpia. El estudio aporta una señal descriptiva de que esta intervención técnica puede alterar capacidades según la tarea; no demuestra personalidad, mecanismos cognitivos compartidos con humanos ni mejoras desplegables del router.

English

Chen and colleagues apply Neuron-based Personality Trait Induction, NPTI, to eight open model configurations and compare a baseline with ten high or reversed Big Five interventions on six benchmarks. The preprint reports large task-dependent effects: the ten condition averages improve IFEval by 10.9 to 15.1 points across four 7B-9B models, while all degrade BBH and reversed Extraversion reaches -39.5 points. Openness and Extraversion have the largest aggregate gaps, and the authors report 73.68% directional agreement with human relationships. The released code, however, contradicts the method: steering uses random masks with probability .9, without a seed or repeated runs, despite being described as deterministic. GPQA always places the correct answer in A, the uniformity and human-agreement denominators are unexplained, and outputs needed to verify tables are absent. Dynamic Persona Routing also does not select one answer: it counts a retrospective hit when any of several recommended personas would have solved the test item, an oracle set-coverage metric unfairly compared with one static persona. The repository supports inspection of part of NPTI but omits DPR, benchmark baselines, data, neurons, results, analysis, a pinned environment and a working clean-checkout path. The study provides descriptive evidence that this technical intervention can alter capability by task; it does not demonstrate personality, human-shared cognitive mechanisms or deployable routing gains.

Pregunta de investigación

¿Producen las intervenciones neuronales NPTI de Big Five cambios fiables y específicos por tarea en capacidades de distintos LLM, siguen direcciones parecidas a relaciones humanas y pueden aprovecharse mediante enrutamiento dinámico?

Método

Preprint experimental con comparación intraítem entre inferencia sin steering y diez condiciones NPTI, dos polaridades para cada Big Five. Evalúa cuatro arquitecturas de 7B-9B y cinco tamaños Qwen2.5, ocho configuraciones únicas, en seis benchmarks. Resume cambios de exactitud, acuerdo de signo entre modelos, sensibilidad relativa por escala, gaps alto-bajo y una selección teórica de direcciones humanas. Como prueba de concepto, divide cada benchmark 9:1, recupera por TF-IDF un ítem de referencia y considera hit si alguna persona que acertó el ancla también habría acertado el ítem de test.

Muestra: El estudio combina ocho configuraciones únicas de modelo, seis benchmarks, un baseline y diez condiciones de intervención. No informa réplicas por semilla ni ejecuciones repetidas. La prueba DPR usa una única partición 90:10 con LLaMA-3-8B-Instruct; los tests contienen 44 ítems GPQA, 651 BBH, 75 MuSR, 1.203 MMLU-Pro, 54 IFEval y 131 GSM8K.

Hallazgos

  • En el agregado de cuatro modelos 7B-9B, las diez condiciones suben IFEval entre 10,9 y 15,1 puntos y bajan BBH; Extraversion invertida promedia -39,5 puntos en BBH.
  • El acuerdo de dirección SA promedia aproximadamente .98 para IFEval y 1,00 para BBH, frente a aproximadamente .75 para GPQA y MuSR; es acuerdo de signo de una ejecución agregada, no fiabilidad test-retest.
  • Los efectos por tamaño Qwen no son monótonos: el artículo informa máximos alrededor de 7B y atenuación en BBH y GSM8K a 14B.
  • Table 2 atribuye el mayor Impact a Openness, 11,96%, y Extraversion, 11,70%, con Uniformity de 90,5%; Neuroticism queda en 4,00% y 57,1%.
  • La concordancia humano-LLM se declara en 14 de 19 comparaciones, 73,68%, pero no se explica cómo se seleccionan 19 de las 30 combinaciones posibles de cinco rasgos por seis benchmarks.
  • DPR supera la referencia estática declarada en GPQA, MuSR, MMLU-Pro e IFEval y queda por debajo en BBH y GSM8K, pero su Accuracy es cobertura oracle de un conjunto, no una respuesta elegida por el router.
  • El repositorio publica 29 ficheros Python, PersonalityBench y prompts BBH, lo que permitió detectar el steering aleatorio, los hiperparámetros y el protocolo GPQA con respuesta correcta siempre en A.
  • No se publican outputs, deltas, neuronas, plots ni análisis que permitan reproducir aritméticamente las tres tablas y figuras de resultados.

Limitaciones

  • El código usa torch.rand y apply_prob=.9 para decidir qué neuronas modificar, sin seed en los runners; la intervención no es determinista aunque temperature sea cero.
  • No hay repeticiones, intervalos entre ejecuciones ni sensibilidad a strength 1.4, probabilidad .9, sigmoid, umbral .1 o mínimo de 2.000 neuronas, valores omitidos en el artículo.
  • El acuerdo de signo entre cuatro arquitecturas toma incrementos gruesos de .25 y no prueba estabilidad frente a la máscara aleatoria, otra ejecución o revisión de modelo.
  • GPQA coloca la respuesta correcta siempre como opción A y el evaluador hardcodea A, introduciendo leakage de posición y rompiendo comparabilidad con protocolos que aleatorizan opciones.
  • Los parsers de BBH, MuSR, MMLU-Pro, GPQA y GSM8K son personalizados y no se valida su error; no se incluye el evaluador IFEval ni se fijan versiones oficiales.
  • Los paired t-tests no especifican con precisión unidad, estadísticos, p-valores, intervalos o corrección por las múltiples tareas, tamaños y condiciones exploradas.
  • Normalizar por exactitud base puede inflar sensibilidad cuando el baseline es bajo; no se propaga incertidumbre por la razón.
  • La fórmula Uniformity implica 48 celdas para ocho modelos por seis datasets, pero sus porcentajes coinciden con fracciones sobre 42; no se explica ninguna exclusión.
  • La afirmación de siete de ocho benchmarks para Openness contradice un diseño de seis benchmarks y el denominador 14/19 de alineamiento humano queda sin justificar.
  • Las hipótesis humanas son flexibles, Extraversion se liga a tareas de aproximación no predefinidas y Agreeableness se declara dependiente de tarea; no hay preregistro ni mapping cerrado.
  • DPR recomienda varios candidatos y consulta retrospectivamente sus resultados de test; no selecciona una persona ni genera una respuesta observable.
  • Comparar la unión oracle de múltiples intentos con una sola persona estática no iguala cómputo y puede mejorar mecánicamente al ampliar el conjunto.
  • La única partición 9:1 carece de seed, estratificación, control de duplicados y réplicas; GPQA, MuSR e IFEval tienen tests pequeños.
  • El repositorio no contiene implementación DPR, TF-IDF, split, análisis, benchmark baselines, outputs, neuronas ni datasets; tampoco licencia, tests, CI, lock, release o revisiones inmutables.
  • Los comandos documentados fallan desde un checkout limpio por falta de empaquetado src y el README apunta a description.jsonl, que no existe; Openness además queda fuera del default de búsqueda.
  • El artículo no incluye sección de limitaciones, ética, impacto o reproducibilidad y no trata riesgos de manipular capacidades mediante rasgos antropomórficos.

Qué no demuestra

  • No demuestra que los modelos tengan rasgos Big Five, personalidad, cognición, experiencia o mecanismos psicológicos humanos.
  • No prueba que las neuronas seleccionadas codifiquen exclusivamente un rasgo ni que la intervención sea una manipulación psicométricamente equivalente.
  • No establece fiabilidad o reproducibilidad porque el steering es aleatorio y no hay réplicas por condición.
  • No valida las exactitudes GPQA como comparables al benchmark estándar debido a la respuesta correcta fija en A.
  • No demuestra que modelos mayores desarrollen esquemas cognitivos robustos o una disociación evolutiva; son interpretaciones de curvas descriptivas.
  • No identifica mecanismos computacionales compartidos entre arquitecturas a partir de acuerdo de signo en exactitud.
  • No establece una correspondencia humano-LLM del 73,68% interpretable sin conocer selección, denominador y mapping de hipótesis.
  • No demuestra que DPR produzca la exactitud reportada en despliegue, porque mide si alguno de varios candidatos habría acertado después de observar todos los resultados.
  • No establece que el router sea ligero o de bajo coste: su memoria requiere evaluar diez personas sobre el 90% de cada benchmark.
  • No ofrece una reproducción integral de tablas, figuras o conclusiones desde artefactos públicos y una clonación limpia.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.11048v2; public repository audited at commit ec9b106d2af1182e4d69ee19dc0a04b8931d6059

Fuente consultada: https://arxiv.org/abs/2604.11048

Revisión: Codex dual eight-page visual full-text, TeX/source, repository execution, intervention, benchmark, DPR oracle, statistics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • LLaMA-3-8B-Instruct
  • Mistral-7B-Instruct-v0.3
  • Gemma-2-9B-Instruct
  • Qwen2.5-0.5B-Instruct
  • Qwen2.5-1.5B-Instruct
  • Qwen2.5-3B-Instruct
  • Qwen2.5-7B-Instruct
  • Qwen2.5-14B-Instruct

Instrumentos y métricas

  • Neuron-based Personality Trait Induction, NPTI
  • Diez condiciones altas o invertidas de Big Five
  • Cambio de exactitud respecto al baseline
  • Direction consistency, SA
  • Sensibilidad relativa normalizada por exactitud base
  • Spearman por escala
  • Paired t-tests no completamente especificados
  • Impact y Uniformity del gap alto-bajo
  • Dynamic Persona Routing con TF-IDF y métrica oracle de hit

Datos utilizados

  • PersonalityBench para identificar neuronas
  • IFEval, 541 ítems declarados
  • MMLU-Pro, 12.032 ítems declarados
  • GPQA, 448 ítems declarados
  • BBH, 6.511 ítems declarados
  • MuSR, 756 ítems declarados
  • GSM8K, 1.319 ítems declarados

Evidencia y localización

  • Diseño, modelos, métricas, resultados, DPR y conclusiones: arXiv:2604.11048v2, ocho páginas renderizadas e inspeccionadas
  • Fuente editable, comentario de upper bound y deriva de Table 3: arXiv source SHA-256 57d5a4b96c71ee219679f4d446d84908756504035015c5b550319459731c6bae
  • Implementación NPTI, aleatoriedad, GPQA, documentación y alcance de datos: https://github.com/cjia7/DPR commit ec9b106d2af1182e4d69ee19dc0a04b8931d6059
  • Auditoría de intervención, benchmarks, estadística, DPR, código y reproducibilidad: reports/verification/article-367-persona-steering-random-intervention-benchmark-dpr-oracle-code-data-and-human-analogy-audit.json