Psychological Steering in LLMs: An Evaluation of Effectiveness and Trustworthiness

PsySET pregunta cuánto puede controlarse la expresión de emociones y rasgos Big Five en un LLM, si la intensidad responde de manera gradual y qué efectos secundarios aparecen en seguridad y confianza. Compara cuatro checkpoints, Llama-3.1-8B-Instruct como modelo principal, Llama-3.1-70B-Instruct, Gemma-3-4B-IT y Qwen3-4B, y cuatro familias de intervención. El prompting usa instrucciones zero-shot, ejemplos few-shot o descripciones extensas; SFT y DPO entrenan adaptadores LoRA y usan el número de pasos como control de intensidad; la vector injection añade a las activaciones una dirección MeanDiff o aprendida con una sonda lineal, modulando coeficiente y capas. Los vectores se construyen con GoEmotions, CARER, EmotionQuery, EmoTranslate, EmoVignette o Persona. Los autores informan más de 15.000 configuraciones, pero no publican el ledger completo del barrido.

La emoción se mide con seis tareas inspiradas en investigación afectiva: autoinforme de elección múltiple, autoinforme abierto, completar fragmentos de palabras, recordar palabras con valencia, memoria autobiográfica ficticia e interpretación de situaciones ambiguas. Las métricas combinan accuracy, distancia léxica en espacio VAD y evaluación GPT-4o de emoción, fluidez y coherencia. En la Table 1 de Llama-3.1-8B, el few-shot de intensidad alta ofrece el mejor equilibrio mostrado: 87,3 % de acierto en generación abierta, 100 % en QA, pérdida léxica 0,51, fluidez 4,6/5 y coherencia 4,3/5. El prompting descriptivo alto obtiene 84,2 %, 100 %, 0,50, 4,7 y 4,4. La mejor configuración MeanDiff mostrada sobre las capas 16-17 llega a 74,6 %, 98,6 %, 0,57, 4,3 y 3,8. SFT con 2.048 pasos marca 73,5 %, 46,7 %, 0,56, 4,8 y 4,3; DPO con 128 pasos, 57,8 %, 34,0 %, 0,65, 4,5 y 3,8. La conclusión defendible es que prompting mantiene la mejor combinación de expresión, respuesta a la tarea y calidad; no que VI sea globalmente superior. Una VI estrecha y calibrada puede igualar o superar una métrica de expresión y ofrece intensidad más continua, pero aumentar el coeficiente o intervenir todas las capas suele derrumbar QA, fluidez o coherencia.

La calibración de VI no se transfiere de forma simple entre arquitecturas. Los mejores intervalos aparecen alrededor de las capas 32-33 de 80 en Llama-70B, 17-18 de 34 en Gemma-4B y 25-26 de 36 en Qwen-4B, con coeficientes de un dígito, aproximadamente 1.000-1.800 y 20-40, respectivamente. En personalidad, PsySET combina MPI, ítems IPIP/BFI en formato Likert, TRAIT, juicios situacionales abiertos puntuados por GPT-4o, y LingProf, un SVM sobre embeddings Qwen3-Embedding-8B de ensayos de 250-300 palabras. Few-shot y prompting descriptivo suelen separar mejor los extremos en MPI y LingProf; TRAIT es más exigente y revela que mover cuestionarios no garantiza razonamiento situacional congruente. Una VI dirigida a capas medias es la alternativa más competitiva en varios casos, mientras VI sobre todas las capas empeora. Las curvas de extraversión son razonablemente monótonas para prompting, VI dirigida y SFT, pero su rango depende del instrumento: SFT separa bien las colas de MPI y menos en TRAIT. Además, LingProf sólo alcanza 60,81 % de accuracy en test humano y 63,96 % en ensayos sintéticos, por lo que es un proxy ruidoso y con domain shift, no una medida psicométrica fuerte.

La contribución más útil es no asumir que steering efectivo equivale a steering seguro. En Llama-3.1-8B, TrustLLM cubre verdad, seguridad, equidad, privacidad, ética y robustez. Los radares indican que alegría y enfado reducen la corrección de hechos adversariales; enfado aumenta lenguaje tóxico pero puede mejorar resistencia a filtrado de datos; alegría eleva vulnerabilidad a jailbreak, reduce conciencia de privacidad y empeora algunas medidas de preferencia o estereotipo. Los efectos de OCEAN también cambian por método y subprueba: en ejemplos reportados, agreeableness bajo VI aumenta acuerdo con estereotipos y conscientiousness reduce toxicidad. No son leyes causales de psicología humana. El apéndice muestra que evaluadores TrustLLM o scripts que esperan una salida binaria penalizan respuestas sustantivamente correctas cuando el modelo emocional añade explicaciones; en un ejemplo sobre el Muro de Berlín, una aclaración matizada se clasifica como fallo. Parte de la variación observada mezcla conducta del modelo con fragilidad del evaluador y del formato.

La incertidumbre es limitada. Table 1 usa tres seeds. El apéndice selecciona cuatro comparaciones y aplica Welch bilateral con n=3 por método: p=0,006 y 0,0015 para accuracy abierta, y p=0,0018 y 0,013 para pérdida léxica. No aporta effect sizes, intervalos, corrección por multiplicidad ni un conjunto preregistrado de contrastes, de modo que no prueba superioridad global dentro de más de 15.000 configuraciones. La validación humana la realizan cinco autores, 200 comparaciones binarias por persona y 1.000 en total, sobre expresión emocional y fluidez de configuraciones seleccionadas. El orden general se parece al de GPT-4o, pero las diferencias son menores y Krippendorff alpha es aproximadamente 0,59: acuerdo moderado, no fuerte. Tampoco es una muestra independiente o representativa.

El paper reconoce dependencia de LLM-as-judge, domain shift, cobertura psicológica parcial, inglés, checkpoints concretos y ausencia de horizontes largos. Los experimentos principales usan GPT-4o como juez; por coste, el apéndice cambia a gpt-oss-20b y baja el umbral de calidad textual de 4,0 a 2,5 porque ambos jueces difieren en fluidez. Por tanto, la identidad del juez forma parte de la definición de medida. El trabajo estudia expresión simulada bajo prompts y modificaciones de activación: no demuestra emoción sentida, personalidad interna, conciencia, identidad estable ni equivalencia con una puntuación humana. Sus recomendaciones de revelar el steering, obtener consentimiento, limitar intensidad y registrar parámetros son sensatas, pero no se validan experimentalmente.

El repositorio oficial es sustancial pero no reproduce el artículo de extremo a extremo. En el commit 18f5981 hay 231 ficheros, 43 módulos Python y datos para steering y TrustLLM; todos los Python parsean y las 30 variantes de loader se cargan. Sin embargo, el último commit es de octubre de 2025, nueve meses anterior a la camera-ready. No hay generaciones, resultados, vectores, adaptadores, ratings humanos, matriz del barrido ni fuentes de tablas/figuras. El comando README para fairness usa sad donde los datos exigen sadness y falla; el evaluador online borra OPENAI_API_KEY y llama a gpt-4o-mini aunque el paper declara GPT-4o; LingProf guarda la media también en scores_std; las opciones booleanas de argparse no interpretan correctamente False; y fastchat==0.1.0 no es el paquete LMSYS fschat que importa el código. No existen tests, CI, lockfile, contenedor o licencia de código/datos. La reproducción seleccionada requiere, según los autores, unas 48 horas en A40 y al menos 40 GB de VRAM para modelos grandes, sin contar el barrido. PsySET aporta evidencia amplia y valiosa de que el steering psicológico es controlable pero puede degradar calidad y confianza de maneras no intuitivas; no aporta una receta universal, una medida de personalidad humana ni un artefacto publicado que permita verificar todas sus cifras.

PsySET asks how strongly LLM emotional expression and Big Five traits can be controlled, whether intensity changes gradually, and what safety and trustworthiness side effects accompany that control. It compares four checkpoints, Llama-3.1-8B-Instruct as the main model, Llama-3.1-70B-Instruct, Gemma-3-4B-IT, and Qwen3-4B, and four intervention families. Prompting uses zero-shot instructions, few-shot examples, or longer descriptions; SFT and DPO train LoRA adapters and use training steps as the intensity control; vector injection adds a MeanDiff or linear-probe direction to activations, varying coefficient and layer location. Vectors are built from GoEmotions, CARER, EmotionQuery, EmoTranslate, EmoVignette, or Persona. The authors report more than 15,000 configurations but do not release the complete sweep ledger.

Emotion is measured through six tasks inspired by affective research: multiple-choice self-report, open-ended self-report, word-fragment completion, valenced-word recall, fictive autobiographical memory, and ambiguous-situation interpretation. Metrics combine accuracy, VAD-space lexical distance, and GPT-4o judgments of emotion, fluency, and coherence. In Table 1 for Llama-3.1-8B, high-intensity few-shot prompting gives the best displayed balance: 87.3% open-generation accuracy, 100% QA, 0.51 lexical loss, 4.6/5 fluency, and 4.3/5 coherence. High descriptive prompting reaches 84.2%, 100%, 0.50, 4.7, and 4.4. The strongest displayed MeanDiff setting on layers 16-17 reaches 74.6%, 98.6%, 0.57, 4.3, and 3.8. SFT at 2,048 steps reaches 73.5%, 46.7%, 0.56, 4.8, and 4.3; DPO at 128 steps reaches 57.8%, 34.0%, 0.65, 4.5, and 3.8. The defensible conclusion is that prompting preserves the best combination of target expression, task response, and language quality, not that VI is globally superior. A narrow, calibrated VI can match or beat one expression metric and offers smoother intensity control, but increasing its coefficient or injecting all layers often collapses QA, fluency, or coherence.

VI calibration does not transfer simply across architectures. Useful windows occur around layers 32-33 of 80 for Llama-70B, 17-18 of 34 for Gemma-4B, and 25-26 of 36 for Qwen-4B, with coefficients in single digits, roughly 1,000-1,800, and 20-40, respectively. For personality, PsySET combines MPI, IPIP/BFI-style Likert items, TRAIT, open situational judgments rated by GPT-4o, and LingProf, a linear SVM on Qwen3-Embedding-8B representations of 250-300 word essays. Few-shot and descriptive prompting usually separate high and low conditions most clearly on MPI and LingProf. TRAIT is harder and shows that moving questionnaire scores does not ensure trait-congruent situational reasoning. Targeted middle-layer VI is the most competitive alternative in several cases, while all-layer VI degrades. Extraversion curves are reasonably monotonic for prompting, targeted VI, and SFT, but range depends on the instrument: SFT separates MPI tails well and TRAIT less strongly. LingProf itself achieves only 60.81% held-out accuracy on human essays and 63.96% on synthetic essays, making it a noisy, domain-shifted proxy rather than a strong psychometric measure.

The most useful contribution is refusing to equate effective steering with safe steering. On Llama-3.1-8B, TrustLLM covers truthfulness, safety, fairness, privacy, ethics, and robustness. The radar plots indicate that both joy and anger reduce correction of adversarial factual errors; anger raises toxic language but can improve resistance to data leakage; joy raises jailbreak vulnerability, lowers privacy awareness, and worsens some preference or stereotype measures. OCEAN effects also vary by method and subtask: in reported examples, agreeableness under VI raises stereotype agreement, while conscientiousness reduces toxicity. These are not causal laws of human psychology. The appendix shows that TrustLLM evaluators or exact-format scripts penalize substantively correct answers when an emotionally steered model adds explanation; in a Berlin Wall example, a nuanced correction is scored as failure. Part of the measured variation therefore mixes model behavior with evaluator and formatting fragility.

Uncertainty is limited. Table 1 uses three seeds. The appendix selects four comparisons and applies two-sided Welch tests with n=3 per method: p=0.006 and 0.0015 for open-ended accuracy, and p=0.0018 and 0.013 for lexical loss. It reports no effect sizes, confidence intervals, multiplicity correction, or preregistered comparison set, so the tests do not establish global superiority within a search of more than 15,000 configurations. Human validation is performed by five paper authors, each making 200 binary comparisons, 1,000 total, on emotional expression and fluency for selected configurations. The overall ordering resembles GPT-4o, but margins are smaller and Krippendorff's alpha is about 0.59: moderate, not strong agreement. The sample is neither independent nor representative.

The paper acknowledges reliance on LLM-as-judge, domain shift, partial psychological coverage, English-only testing, specific checkpoints, and the absence of long time horizons. Main experiments use GPT-4o as judge; because of cost, the appendix switches to gpt-oss-20b and lowers the text-quality threshold from 4.0 to 2.5 because the judges differ on fluency. Judge identity is therefore part of the measurement definition. The study measures simulated expression under prompts and activation changes. It does not demonstrate felt emotion, internal personality, consciousness, stable identity, or equivalence to a human score. Recommendations to disclose steering, obtain consent, cap intensity, and log parameters are sensible but not experimentally validated.

The official repository is substantial but does not reproduce the paper end to end. At commit 18f5981 it contains 231 files, 43 Python modules, and steering plus TrustLLM data; all Python files parse and all 30 loader variants complete. Yet its last commit is October 2025, nine months before the camera-ready version. It releases no generations, results, vectors, adapters, human ratings, sweep matrix, or table and figure sources. The README fairness command uses sad where the data require sadness and fails; online evaluation clears OPENAI_API_KEY and calls gpt-4o-mini although the paper states GPT-4o; LingProf writes the mean into scores_std; argparse booleans do not interpret False correctly; and fastchat==0.1.0 is not the LMSYS fschat distribution imported by the code. There are no tests, CI, lockfile, container, or code/data license. According to the authors, reproducing selected best settings takes about 48 A40 GPU-hours and at least 40 GB VRAM for large models, excluding the search. PsySET offers broad, valuable evidence that psychological steering is controllable yet can degrade quality and trustworthiness in counter-intuitive ways. It does not provide a universal recipe, a measure of human personality, or a published artifact that verifies every reported number.