Persona Matters: Effects of Activation Steering on Short Answer Generation and Scoring

This study tests how seven persona vectors, evil, apathetic, hallucinating, humorous, impolite, optimistic, and sycophantic, together with their opposites, alter short-answer generation and automated educational scoring. It uses Qwen3-4B, Qwen3-32B, and gpt-oss-20b on the ten ASAP-SAS prompt sets spanning grade 8–10 science and English Language Arts (ELA). For each trait, five instruction variants per direction generate response pairs for 20 questions. GPT-4.1-mini retains responses scoring at least 50/100 for both trait manifestation and coherence. The vector is the mean difference between positive and negative response-token activations at a fixed layer near each model's midpoint; it is added without renormalization at α = ±2. In generation, 15 configurations per model produce ten answers per prompt set, yielding 1,500 per model and 4,500 overall. GPT-5.2 scores them against the rubric. Steering lowers quality in most conditions, but sensitivity varies: mean absolute positive-steering shift is .172 for Qwen3-4B and .021 for Qwen3-32B. The largest drops are humorous on Qwen3-4B (−.420), hallucinating on Qwen3-32B (−.063), and evil on gpt-oss-20b (−.443). Even apparently desirable directions, good, empathetic, factual, serious, polite, pessimistic, and candid, lower quality across all seven conditions for Qwen3-4B, supporting the interpretation that vectors often act as perturbations rather than clean style controls. ELA is more sensitive than science, especially literary analysis. However, version 2 is internally inconsistent: the text reports ELA/science ratios of 3.7× and 11× for Qwen3-4B and Qwen3-32B, while Figure 2 labels positive-steering ratios of 4.2× and 4.8×; the abstract retains “up to 11×.” For scoring, each model acts under 15 scorer personas and grades all 4,500 answers, approximately 202,500 decisions. Qwen mean shifts stay around ±.030; gpt-oss-20b changes much more: empathetic adds .233, factual subtracts .101, and hallucinating adds .142. Evil and impolite tend to grade more harshly, while good and optimistic are more lenient. ELA scoring varies 2.5–3× more than science; the censorship essay reaches a .338 range for Qwen3-4B versus .021 for cell transport. Shift directions correlate moderately across models: r = .50 (p = .068), .57 (.034), and .56 (.039), so only two pairs are significant before correction. The paper does not show the 15×15 matrix or interaction statistics needed to fully support the claim that no simulated learner type is differentially affected. All “learners” are LLM outputs, not students, and the main judge is also an LLM. Multiple Mann–Whitney tests use p < .05 without correction or intervals. Because α is applied to raw vectors whose norms may differ by trait, layer, and architecture, magnitude differences cannot be attributed to architecture alone. The evidence establishes calibration and degradation risks on this benchmark, not effects on learning, fairness for real students, or generalization to high-stakes assessment.

Este estudio evalúa cómo siete vectores de persona, evil, apathetic, hallucinating, humorous, impolite, optimistic y sycophantic, junto con sus opuestos, alteran la generación y la puntuación automática de respuestas educativas cortas. Trabaja con Qwen3-4B, Qwen3-32B y gpt-oss-20b sobre los diez sets de ASAP-SAS, que combinan ciencias y English Language Arts (ELA) de cursos 8–10. Para cada rasgo se redactan cinco variantes de instrucción por dirección y se generan pares sobre 20 preguntas. GPT-4.1-mini retiene respuestas que alcanzan al menos 50/100 tanto en manifestación del rasgo como en coherencia. El vector es la diferencia media entre activaciones de respuestas positivas y negativas, promediadas sobre tokens, en una capa fija cercana a la mitad del modelo; se suma sin renormalización con α = ±2. En generación hay 15 configuraciones por modelo y cada una produce diez respuestas por set: 1.500 por modelo y 4.500 en total. GPT-5.2 puntúa estas respuestas con la rúbrica. La intervención reduce la calidad en la mayoría de condiciones, pero con sensibilidad desigual: la magnitud absoluta media bajo steering positivo es 0,172 para Qwen3-4B y 0,021 para Qwen3-32B. Los peores desplazamientos son humorous en Qwen3-4B (−0,420), hallucinating en Qwen3-32B (−0,063) y evil en gpt-oss-20b (−0,443). Incluso direcciones aparentemente deseables, good, empathetic, factual, serious, polite, pessimistic y candid, reducen todas la calidad en Qwen3-4B, lo que apoya la interpretación de que los vectores actúan a menudo como perturbaciones y no como control estilístico limpio. Las tareas ELA son más sensibles que ciencia, sobre todo análisis literario. Sin embargo, la versión v2 es internamente inconsistente: el texto informa ratios ELA/ciencia de 3,7× y 11× para Qwen3-4B y Qwen3-32B, mientras la Figura 2 anota 4,2× y 4,8× para steering positivo; el abstract conserva «hasta 11×». En puntuación, cada uno de los tres modelos actúa bajo 15 personas de scorer y califica las 4.500 respuestas, unas 202.500 decisiones. Los Qwen cambian su media como máximo alrededor de ±0,030; gpt-oss-20b cambia mucho más: el scorer empathetic suma +0,233, factual resta −0,101 y hallucinating suma +0,142. Evil e impolite tienden a endurecer, mientras good y optimistic suavizan. ELA muestra variación 2,5–3× mayor que ciencia; el ensayo de censura alcanza rango 0,338 en Qwen3-4B frente a 0,021 para transporte celular. La dirección de los shifts correlaciona moderadamente entre modelos: r = 0,50 (p = 0,068), 0,57 (0,034) y 0,56 (0,039), por lo que solo dos pares son significativos sin corrección. El paper no muestra la matriz 15×15 ni estadísticas de interacción que respalden plenamente que ningún tipo de alumno simulado sufra trato diferencial. Todos los «alumnos» son respuestas de LLM, no estudiantes reales, y el juez principal también es un LLM. Los tests Mann–Whitney múltiples usan p < 0,05 sin corrección ni intervalos. Además, α se aplica a vectores crudos, cuyas normas pueden diferir por rasgo, capa y arquitectura; por tanto, una diferencia de magnitud no puede atribuirse solo al modelo. La evidencia muestra riesgos reales de calibración y degradación en este benchmark, no efectos sobre aprendizaje, justicia con estudiantes reales ni generalización a evaluación educativa de alto impacto.