BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

BILLY replaces an online multi-agent conversation with an activation intervention in a single LLM. For each professional role, Claude Sonnet 4 generates five positive system prompts; the model answers 20 role-eliciting questions under those prompts and a neutral prompt. GPT-4o-mini scores role expression from 0 to 100. In the written method, positive-prompt responses above 50 and neutral responses below 50 are retained, token-averaged residual-stream activations are computed, and the neutral mean is subtracted from the positive mean at every layer. BILLY then takes the arithmetic mean of several vectors and adds alpha times that vector during generation. Main experiments use layer 20 and alpha 2.0. The nominal four-vector default is Creative Professional, Environmentalist, Futurist and Futurist: Futurist is duplicated and receives half the average weight, so this is not four distinct perspectives.

Evaluation uses Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct and Gemma-3-4B-it on four GPT-4-augmented creativity tasks: Alternative Uses, Instances, Similarities and Scientific Creativity, with 100-question files in the repository. Models produce five ideas per prompt. Baselines are one agent at temperature 0.7, one at 1.0, a multi-role prompt, and four-agent five-round LLM Discussion. GPT-4o-mini rates originality and elaboration from 1 to 5. In Table 2, BILLY has the highest originality point estimate in 10 of 12 model-task cells: all eight Qwen/Llama cells and Gemma AUT/Instances. It does not lead Gemma Scientific, 4.94 versus 4.96 for SA and SA-MRP, or Gemma Similarities, 4.94 versus 4.97 for SA. Elaboration is competitive but loses several rows. Gemma scores show ceiling effects, while Gemma LLM Discussion has unstable, high-variance outputs. Evidence therefore favors this intervention under the chosen rubric and tasks, but is narrower than an unqualified claim of surpassing traditional approaches.

The statistical claim is auditable. Released scripts run two-sided paired t-tests between BILLY and four baselines for each available task, model and metric; LLM Discussion scores are averaged in consecutive groups of four agents. Retrieving the 55 official Git LFS JSON files reproduces 88 tests: 65 have p<0.05 (73.86%) and 58 have p<0.001 (65.91%), matching the rounded 74% and 66% statements. AUT uses n=98 because two answers are missing; other cells use n=100. There is no correction for 88 comparisons, preregistered family, interval or effect size. A global Bonferroni 0.05/88 threshold retains 57 tests (64.77%). The published percentages are numerically real, but significance counts do not communicate magnitude or show universal advantage; 23 comparisons are nonsignificant at 0.05.

Human evaluation compares SA, LLM Discussion and BILLY across all four tasks. Three outputs per task are selected and eleven volunteers rate originality and elaboration. The paper's 132 evaluation scores correspond to 11 raters by 12 outputs; once three methods and two metrics are represented, the CSV contains 11×72=792 scalar values. BILLY has the highest mean in all eight task-metric rows. Correlations between aggregate human and LLM scores are Spearman 0.73/Pearson 0.66 for originality and 0.43/0.40 for elaboration, based on only twelve aggregate points per metric. The decisive limitation is released but omitted from the main paper: all six Krippendorff alpha values range from 0.1253 to 0.2279, far below the repository's own 0.667 acceptability threshold. Pairwise Kendall means range 0.083-0.231 for originality and 0.374-0.582 for elaboration. Human means favor BILLY, but rater consensus is too weak to support stable human validation.

Efficiency is compelling against multi-agent discussion, not against every alternative. Table 5 reports per query: SA 23.9 s, 22.3/407.1 tokens and $0.25 per 10,000; SA-MRP 36.8 s, 221.2/861.1 and $0.56; LLM Discussion 513 s, 88,853/12,922.1 and $25.50; BILLY 19 s, 62.2/475.6 and $0.30. The greater-than-95% saving is relative to LLM Discussion, with roughly 25-fold lower latency. BILLY is nevertheless 20% more expensive than SA by the paper's own token prices, while reporting 20% lower latency. Pricing uses Nebius token rates and amortizes persona-generation inputs, but excludes GPU cost, extraction time, model loading and activation-hook overhead. It does not establish BILLY as the absolute cheapest method.

Composition studies show interaction rather than clean additive control. The one-to-seven-vector curve changes identity and count together: every condition from two upward includes Creative Professional, and the default duplicates Futurist. It cannot identify a causal effect of persona count. On twelve neutral prompts, Gemini 2.5 Pro, Gemini 2 Flash and GPT-4o-mini distribute exactly 100 points among five ad hoc roles. Creative-only raises Creative to 43.2 and Environmentalist-only raises Environmental to 30.8. But Creative+Environmentalist scores 43.9 Creative and only 12.3 Environmental, below both Environmentalist-only and SA's 14.9. The authors acknowledge that creative wording dominates judging. This contradicts reliable simultaneous output control even when internal projections are positive on both directions. Projection is also not independent validation: the activation change created by adding an average of persona vectors is projected onto those same vectors. It confirms the injected direction, not psychological meaning, creative-quality causation or expressed semantics.

The official repository is unusually useful: it publishes 92 syntactically valid Python files, four datasets, 50 serialized vectors, human ratings, prompts, projection tables and enough results to reproduce the significance percentages. It is not a clean end-to-end reproduction. The README expands BILLY incorrectly, claims MIT without a LICENSE, and its quick start names six missing paths. A normal clone leaves 140 JSON files as Git LFS pointers, but the README omits git-lfs pull. There are no tests, CI, container, paper-locked environment or seeds, and several author-machine paths remain. The public generator uses adaptive median thresholds, coherence>=50, a three-sample minimum and first-20 truncation, materially differing from the paper's >50/<50 rule. The API generates its response before adding the optional multi-role prompt, /reset calls a commented-out method, persona modes fail with four vectors, and advertised fusion variants are incomplete or unsafe. The faithful conclusion is that BILLY provides promising evidence that one activation intervention improves judged originality on these benchmarks and radically lowers cost against four-agent discussion. It does not establish coherent personality, true creativity, independent interpretability, reliable human consensus or broad generalization; the artifacts enable partial audit, not yet a documented production-grade reproduction.

BILLY sustituye una conversación multiagente por una intervención en las activaciones de un único LLM. Para cada rol profesional, Claude Sonnet 4 genera cinco system prompts positivos; el modelo responde a 20 preguntas que pretenden elicitar ese rol bajo esos prompts y bajo un prompt neutral. GPT-4o-mini puntúa la expresión del rol de 0 a 100. Según el método escrito, se conservan respuestas positivas con score mayor de 50 y neutrales con score menor de 50; se promedia la activación del residual stream a través de tokens y se resta la media neutral de la positiva en cada capa. BILLY toma después la media aritmética de varios vectores y la suma, multiplicada por alfa, a las activaciones durante la generación. Los experimentos principales usan capa 20 y alfa 2,0. El default denominado de cuatro vectores es Creative Professional, Environmentalist, Futurist y Futurist: Futurist está duplicado y recibe la mitad del peso, por lo que no son cuatro perspectivas distintas.

La evaluación usa Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct y Gemma-3-4B-it en cuatro tareas de creatividad ampliadas previamente con GPT-4: Alternative Uses, Instances, Similarities y Scientific Creativity, con ficheros de 100 preguntas en el repositorio. Los modelos producen cinco ideas por pregunta. Los baselines son un agente a temperatura 0,7, el mismo a 1,0, un agente con prompt multirrol y LLM Discussion, que emplea cuatro agentes durante cinco rondas. GPT-4o-mini puntúa originalidad y elaboración de 1 a 5. En Table 2, BILLY obtiene el mayor punto de originalidad en 10 de 12 cruces modelo-tarea: los ocho de Qwen/Llama y AUT/Instances con Gemma. No lidera Gemma Scientific, 4,94 frente a 4,96 de SA y SA-MRP, ni Gemma Similarities, 4,94 frente a 4,97 de SA. La elaboración es competitiva, pero pierde varias filas. En Gemma hay fuerte efecto techo y LLM Discussion sufre salidas inestables y gran varianza, algo que los propios autores atribuyen al contexto largo del modelo pequeño. Por tanto, la evidencia favorece la intervención para esta rúbrica y estas tareas, pero es más estrecha que «supera los enfoques tradicionales» sin matices.

Los tests estadísticos sí pueden auditarse. Los scripts hacen t-tests pareados bilaterales entre BILLY y cuatro baselines en cada combinación disponible de tarea, modelo y métrica; para LLM Discussion promedian grupos consecutivos de cuatro agentes. Al recuperar los 55 JSON oficiales almacenados con Git LFS se reproducen 88 contrastes: 65 tienen p<0,05 (73,86 %) y 58 p<0,001 (65,91 %), que redondean a los 74 % y 66 % del texto. AUT tiene n=98 por dos respuestas ausentes; el resto n=100. No hay corrección por 88 comparaciones, familia preregistrada, intervalos ni tamaños de efecto. Un Bonferroni global 0,05/88 conserva 57 tests (64,77 %). La cifra publicada es numéricamente real, pero contar significaciones no informa de magnitud ni demuestra ventaja en todos los casos; 23 comparaciones no alcanzan 0,05.

La evaluación humana compara SA, LLM Discussion y BILLY en las cuatro tareas. Se seleccionan tres salidas por tarea y once voluntarios asignan originalidad y elaboración. El paper llama a esto 132 evaluation scores: corresponde a 11 evaluadores por 12 salidas; al desplegar tres métodos y dos métricas, el CSV contiene 11×72=792 valores escalares. BILLY logra la media más alta en las ocho filas tarea-métrica. Las correlaciones entre medias humanas y juez LLM son Spearman 0,73/Pearson 0,66 para originalidad y 0,43/0,40 para elaboración, calculadas sobre solo doce puntos agregados por métrica. La limitación decisiva aparece en los propios artefactos pero no en el cuerpo principal: los seis alfas de Krippendorff están entre 0,1253 y 0,2279, muy por debajo del umbral 0,667 que el script define como aceptable. Las medias de Kendall entre parejas son 0,083-0,231 en originalidad y 0,374-0,582 en elaboración. Así, las medias favorecen a BILLY, pero no existe consenso humano fiable suficiente para hablar de una validación estable.

El análisis de eficiencia es fuerte frente al baseline multiagente, pero no frente a cualquier alternativa. Table 5 informa por consulta: SA 23,9 s, 22,3/407,1 tokens y 0,25 dólares por 10.000; SA-MRP 36,8 s, 221,2/861,1 y 0,56; LLM Discussion 513 s, 88.853/12.922,1 y 25,50; BILLY 19 s, 62,2/475,6 y 0,30. La reducción mayor del 95 % se refiere a LLM Discussion y la latencia es aproximadamente 25 veces menor. Sin embargo, BILLY cuesta un 20 % más que SA con la propia tarifa del paper, aunque su latencia reportada es un 20 % menor. El coste usa precios por token de Nebius y amortiza inputs de creación de vectores, pero excluye GPU, tiempo de extracción, carga del modelo y overhead de intervenir activaciones. No sostiene que sea el método absolutamente más barato.

Los análisis de composición muestran interacciones, no control aditivo limpio. La curva de uno a siete vectores cambia simultáneamente identidad y cantidad: todas las condiciones desde dos incluyen Creative Professional y el default duplica Futurist. No permite estimar un efecto causal del número de personas. En doce prompts neutrales, Gemini 2.5 Pro, Gemini 2 Flash y GPT-4o-mini reparten exactamente 100 puntos entre cinco roles ad hoc. El vector Creative eleva Creative a 43,2 y Environmentalist eleva Environmental a 30,8. Pero la fusión Creative+Environmentalist obtiene 43,9 en Creative y solo 12,3 en Environmental, por debajo tanto de Environmentalist solo como del 14,9 de SA. Los autores admiten que el vocabulario creativo domina al juez. Esto contradice un control simultáneo fiable en el texto, aunque las activaciones se proyecten positivamente sobre ambas direcciones. Esa proyección tampoco es validación independiente: se proyecta el cambio causado por añadir una media de vectores sobre esos mismos vectores. Confirma la dirección inyectada, no su significado psicológico, la causalidad de la calidad creativa ni la expresión observada.

El repositorio oficial es valioso: publica 92 scripts Python sintácticamente válidos, cuatro datasets, 50 vectores serializados, ratings humanos, prompts, tablas de proyección y resultados suficientes para reproducir porcentajes. Pero no es una reproducción extremo a extremo limpia. El README expande mal BILLY, afirma licencia MIT sin que exista LICENSE y dirige el quick start a seis rutas ausentes. Ciento cuarenta JSON quedan como punteros en un clon sin Git LFS y no se documenta git-lfs pull. No hay tests, CI, contenedor, entorno bloqueado o seeds. Hay rutas absolutas de máquinas de autores. El generador publicado usa umbrales adaptativos basados en medianas, exige coherence>=50, conserva al menos tres casos y trunca a los primeros 20, distinto del >50/<50 descrito. La API genera la respuesta antes de añadir el supuesto prompt multirrol, /reset llama a un método comentado, los modos de persona fallan con cuatro vectores y tres métodos de fusión anunciados no implementan una alternativa estable. La conclusión fiel es que BILLY aporta evidencia prometedora de que una intervención de activación concreta mejora puntuaciones de originalidad en estos benchmarks y reduce radicalmente coste frente a una discusión de cuatro agentes. No demuestra personalidad coherente, creatividad verdadera, control interpretable independiente, consenso humano fiable ni generalización; sus artefactos permiten auditoría parcial, no todavía reproducción documentada de producción.