When Does Personality Composition Matter for Multi-Agent LLM Teams?

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Aryan Keluskar, Amrita Bhattacharjee, Huan Liu

Palabras clave: Personality, Persona conditioning, Multi-agent systems, Big Five, Agreeableness, LLM-as-judge, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
10
Hallazgos
18
Limitaciones
7
Evidencias

Resumen editorial

Español

Este trabajo aceptado en COLM 2026 estudia cómo prompts de personalidad alteran la comunicación y los resultados de equipos multiagente de LLM. La intervención principal antepone a todos los agentes siete adjetivos Goldberg de baja o alta Amabilidad. La condición low-A usa una formulación intensamente negativa, muy poco amable, no cooperativa, egoísta, desconfiada, fría, dura y poco comprensiva, por lo que operacionaliza una persona instruida y cargada de valencia, no una personalidad psicológica medida. El estudio compara tres dominios de MultiAgentBench: programación colaborativa de tres agentes, generación abierta de ideas de investigación con cinco agentes y negociación comprador-vendedor con dos agentes. GPT-4o-mini clasifica segmentos en preguntas, desacuerdos, sugerencias y reconocimientos. El indicador phi agrupa los tres primeros actos frente al reconocimiento. Low-A eleva phi aproximadamente a 0,93-0,95: Claude, GPT-4o y Grok se desplazan hacia desacuerdos, mientras DeepSeek lo hace sobre todo mediante sugerencias. Este resultado describe la composición de actos etiquetados por un juez LLM; no equivale literalmente al porcentaje de mensajes ni mide por sí solo calidad, divergencia o convergencia exitosa. En programación, la planificación juzgada por LLM empeora, pero los hitos permanecen cerca del baseline en Claude, GPT-4o y DeepSeek. Grok cae de 14,4 a 10,9 y es la única excepción declarada, aunque su inferencia es frágil: sobre las cinco tareas compartidas, una t emparejada da p=0,013 y Wilcoxon p=0,0625; el texto publica p=0,017 mientras la tabla lo marca con un asterisco definido como p<0,01. En investigación, las caídas principales sí sobreviven una comparación emparejada por tarea en los tres modelos cuyos logs están publicados: GPT-4o baja 6,93 hitos en 15 tareas, Grok 6,17 en 9 y DeepSeek 3,87 en 22. Sin embargo, los tamaños reales contradicen n=30 por condición: Grok usa 15 tareas base frente a 9 low-A y DeepSeek 25 frente a 22, con réplicas desiguales. Las medias del paper usan esas colecciones no equivalentes y los p<0,0001 uniformes se reducen aproximadamente a 0,0007 y 0,0014 para Grok y DeepSeek al respetar la unidad tarea. En negociación, los datos liberados muestran que el acuerdo pasa de 37% a 1% en GPT-4o, de 18% a 0% en DeepSeek y de 31% a 0% en Claude. High-A sube a 71%, 26% y 60%. El control never-accept muestra que low-A no se limita siempre a una negativa plana: algunos agentes siguen moviendo ofertas pero rara vez aceptan. Aun así, la Tabla 2 dice 40% base para Claude frente al 31% del texto, Tabla 3 y datos; además imprime un intervalo [0,0] para 0/100 acuerdos Claude, cuando el Wilson correcto es aproximadamente [0,4]. La aportación metodológica más sólida de la v2 es el control de paráfrasis neutral: «directo, franco, independiente, escéptico del consenso y orientado a eficiencia» elimina la convergencia entre modelos y reduce los desacuerdos, mostrando que buena parte del efecto Goldberg procede de adjetivos hostiles. Los resultados restantes son heterogéneos: GPT-4o recupera buena parte de investigación, Grok y DeepSeek siguen por debajo, Claude mejora en investigación y la programación neutral incluso empeora más que low-A en algunas celdas. Por ello no hay un efecto residual uniformemente direccional ni una manipulación psicométricamente equivalente. La explicación de «amortiguación mediada por el artefacto» es razonable como hipótesis, pero no está identificada causalmente. Los dominios difieren en número de agentes, tareas, objetivos, acciones, modelos, tamaños y jueces, y falta la celda competitiva de alta estructura. Que el código se extraiga con formato o reciba una puntuación LLM no demuestra que restricciones sintácticas y semánticas hayan filtrado el deterioro comunicativo; no se presenta una batería de ejecución funcional comparable. El artefacto público es valioso: licencia Apache-2.0, 2.679 logs JSONL, unos 293 MB de resultados, caches y scripts. La reconstrucción offline reproduce seis CSV byte a byte y el séptimo salvo redondeo de coma flotante. Pero no contiene los logs de investigación Claude, negociación Grok ni la validación Kimi; el README no da comandos de reproducción; scripts estadísticos secundarios conservan rutas obsoletas; las dependencias no están fijadas; no hay tests o CI del estudio; y el runner configura como evaluador al propio modelo, mientras el apéndice afirma que GPT-4o juzga el código. La conclusión defendible es que la redacción de una persona low-A cambia mucho los actos comunicativos etiquetados y puede perjudicar ciertos resultados multiagente, especialmente investigación y aceptación en negociación. El trabajo aporta una advertencia importante sobre valencia del prompt y un conjunto de logs rico, pero no demuestra personalidad estable, un mecanismo causal de estructura del artefacto ni una regla lista para despliegue.

English

This COLM 2026 paper studies how personality prompts change communication and outcomes in multi-agent LLM teams. The primary intervention prepends seven Goldberg low- or high-Agreeableness adjectives to every agent. Low-A is intensely valenced, very unkind, uncooperative, selfish, distrustful, cold, harsh, and unsympathetic, so it operationalizes an instructed persona rather than a measured psychological personality. The study compares three MultiAgentBench domains: three-agent collaborative coding, five-agent open-ended research ideation, and two-agent buyer-seller bargaining. GPT-4o-mini labels segments as questions, disagreements, suggestions, and acknowledgments. Phi groups the first three act counts against acknowledgments. Loaded low-A raises phi to roughly 0.93-0.95: Claude, GPT-4o, and Grok become disagreement-dominated, whereas DeepSeek shifts mainly through suggestions. This is an LLM-labeled act-composition measure, not literally a percentage of messages or a direct measure of communication quality, divergence, or successful convergence. In coding, LLM-judged planning declines but milestone counts remain near baseline for Claude, GPT-4o, and DeepSeek. Grok falls from 14.4 to 10.9 and is the only declared exception, but the inference is fragile: on the five shared tasks, a paired t-test gives p=0.013 and Wilcoxon p=0.0625; the prose reports p=0.017 while the table marks it with a star defined as p<0.01. In research, the main direction survives task-matched comparison for the three models with released logs: GPT-4o drops 6.93 milestones across 15 tasks, Grok 6.17 across 9, and DeepSeek 3.87 across 22. However, actual samples contradict the stated n=30 per condition: Grok has 15 baseline tasks versus 9 low-A tasks, and DeepSeek 25 versus 22, with unequal repetitions. Paper means use these unmatched collections, and the blanket p<0.0001 claim becomes about 0.0007 for Grok and 0.0014 for DeepSeek when task is respected as the unit. In bargaining, released data show agreement moving from 37% to 1% for GPT-4o, 18% to 0% for DeepSeek, and 31% to 0% for Claude; high-A raises them to 71%, 26%, and 60%. A never-accept control suggests low-A is not always a flat refusal because some agents keep moving offers while rarely accepting. Still, Table 2 says Claude baseline is 40% rather than the 31% in prose, Table 3, and data, and Table 3 prints [0,0] for Claude 0/100 when a Wilson interval is about [0,4]. The strongest methodological contribution of v2 is the neutral paraphrase control: direct, candid, independent-minded, skeptical of consensus, and efficiency-oriented. It removes cross-model convergence and largely removes disagreements, showing that much of the Goldberg effect comes from hostile wording. Residual outcomes are heterogeneous: GPT-4o research largely recovers, Grok and DeepSeek remain lower, Claude improves in research, and neutral coding can be worse than loaded low-A in some cells. There is therefore no uniformly directional residual or psychometrically equivalent manipulation. Artifact-mediated buffering is a plausible hypothesis but is not causally identified. Domains differ in agent count, tasks, objectives, actions, model coverage, sample sizes, and judges, and the competitive/high-structure cell is absent. Format extraction and LLM code ratings do not demonstrate that syntax and semantics filtered communication degradation; no comparable functional execution suite is reported. The public artifact is valuable: Apache-2.0 licensing, 2,679 JSONL logs, about 293 MB of results, caches, and scripts. Offline reconstruction reproduces six CSVs byte-for-byte and the seventh except for floating-point last digits. But Claude research logs, Grok bargaining logs, and Kimi validation are absent; the README has no reproduction commands; secondary statistical scripts use stale paths; dependencies are unpinned; there are no study tests or CI; and the runner sets the evaluated model as judge while the appendix says GPT-4o judged code. The defensible conclusion is that low-A persona wording strongly changes labeled communication acts and can harm some multi-agent outcomes, especially research and bargaining acceptance. The paper contributes an important prompt-valence warning and a rich log release, but it does not establish stable personality, a causal artifact-structure mechanism, or a deployment-ready design rule.

Pregunta de investigación

¿Cambian los prompts de Amabilidad la comunicación y el rendimiento de equipos multiagente de LLM de forma distinta según la estructura del resultado y el alineamiento de objetivos, y cuánto del efecto se debe a la valencia negativa de los adjetivos?

Método

Experimentos de prompting Big Five en MultiAgentBench con equipos homogéneos low-A, high-A y baseline, ablations de Apertura y Responsabilidad, paráfrasis neutral, piloto de un challenger y control never-accept. Compara programación, investigación y negociación; clasifica actos con GPT-4o-mini y evalúa hitos, planificación, calidad de código, acuerdos y movimiento de ofertas mediante jueces y logs automáticos.

Muestra: Programación: cuatro modelos, cinco tareas compartidas para las comparaciones principales y 10-15 ejecuciones por condición, aunque GPT-4o, Grok y DeepSeek publican 20 baselines sobre diez tareas. Investigación: el paper declara 15 tareas y n=30 por condición; GPT-4o cumple, Grok publica 35/23/26 ejecuciones base/low-A/high-A sobre 15/9/11 tareas y DeepSeek 55/49/52 sobre 25/22/24; los logs Claude no están publicados. Negociación: 50 tareas y 100 ejecuciones por condición para GPT-4o, DeepSeek y Claude; los logs Grok citados no están publicados. Controles neutrales: normalmente diez ejecuciones sobre cinco tareas por modelo y dominio. El piloto heterogeneous cubre posiciones 0-2 en GPT-4o, Grok y DeepSeek.

Hallazgos

  • El prompt Goldberg low-A eleva phi hasta aproximadamente 0,93-0,95 en los cuatro modelos.
  • Claude, GPT-4o y Grok llegan a phi alto mediante desacuerdos; DeepSeek lo hace principalmente mediante sugerencias.
  • La paráfrasis neutral elimina la convergencia entre modelos y casi todos los desacuerdos, evidenciando un fuerte efecto de valencia del prompt.
  • En las cinco tareas compartidas de programación, Claude, GPT-4o y DeepSeek no muestran una caída clara de hitos.
  • La caída Grok en programación es sensible al test y no cumple de forma inequívoca el umbral p<0,01 indicado en la tabla.
  • Las caídas de investigación sobreviven al emparejamiento por tarea en GPT-4o, Grok y DeepSeek, aunque con menos precisión que la publicada.
  • Low-A reduce drásticamente la aceptación en negociación para GPT-4o, DeepSeek y Claude; high-A la aumenta.
  • El control never-accept indica que low-A puede mantener contraofertas aunque casi nunca finalice acuerdos.
  • El efecto neutral sobre resultados es heterogéneo por modelo y dominio, no uniformemente atenuado ni direccional.
  • El análisis unificado del repositorio regenera los CSV publicados a partir de los logs liberados.

Limitaciones

  • Low-A usa adjetivos hostiles y no constituye una manipulación limpia o una medición de Amabilidad psicológica.
  • La paráfrasis neutral cambia simultáneamente valencia, intensidad y contenido; diagnostica confusión, pero no identifica un rasgo residual puro.
  • Phi cuenta actos multi-etiqueta y se interpreta erróneamente en partes del texto como fracción de mensajes.
  • Phi no mide directamente calidad, convergencia correcta, integración de propuestas o rendimiento.
  • La validación Kimi omite la categoría sugerencia y no se publican etiquetas, código o muestreo del segundo juez.
  • El apéndice afirma correlaciones >0,80 para baseline/high-A pero su tabla muestra Claude baseline r=-0,08.
  • Los resultados de investigación Grok y DeepSeek mezclan conjuntos de tareas y números de réplicas diferentes entre condiciones.
  • Las pruebas y bootstraps a nivel ejecución incurren en pseudorreplicación al ignorar el agrupamiento por tarea.
  • La multiplicidad entre modelos, rasgos, direcciones, dominios, métricas y controles no se corrige de forma global y consistente.
  • Las tablas mezclan baselines de cinco y diez tareas; el valor 12,06 de DeepSeek en Tabla 5 no se reproduce como media all-task o matched.
  • La significancia Grok en código está etiquetada p<0,01 pese a que el propio texto da p=0,017.
  • El intervalo Claude 0/100 de negociación está mal impreso como [0,0] y la Tabla 2 usa 40% base frente al 31% reproducible.
  • Los dominios difieren en muchas variables y falta una celda del diseño 2x2, por lo que la estructura del artefacto no está identificada causalmente.
  • Los hitos y la calidad del código son juicios LLM; no hay validación funcional ejecutada comparable entre dominios.
  • El código configura autoevaluación por modelo, en conflicto con la afirmación de que GPT-4o juzga toda la calidad de código.
  • No se publican los resultados Claude de investigación, Grok de negociación ni la validación Kimi.
  • README, rutas estadísticas, dependencias, seeds, snapshots de modelo, tests y CI no permiten reproducción end-to-end estable.
  • El piloto de challenger es pequeño y no cubre composiciones, roles o dominios suficientes para una recomendación general.

Qué no demuestra

  • No establece que los LLM posean personalidades estables o comparables con rasgos humanos.
  • No aísla causalmente Amabilidad frente a hostilidad, toxicidad o seguimiento de instrucciones.
  • No demuestra que la estructura formal del artefacto cause la robustez de programación.
  • No demuestra que phi sea una medida validada de calidad o convergencia del equipo.
  • No prueba que el código producido funcione mejor o igual mediante tests reales.
  • No respalda p<0,0001 para todos los efectos de investigación cuando la tarea es la unidad de inferencia.
  • No establece que un challenger low-A en posición líder sea una regla óptima general.
  • No demuestra efectos neutrales uniformes, estables o independientes del modelo.
  • No ofrece reproducción completa de todas las tablas del paper aceptado.
  • No valida despliegue en equipos reales, organizaciones, agentes persistentes o sistemas con herramientas sensibles.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.27443v2; accepted at COLM 2026

Fuente consultada: https://arxiv.org/abs/2606.27443v2

Revisión: Codex 20-page full-text visual, v2 text, prompt, metric, task-matched statistical, code, artifact, reproducibility, ethics and claim audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • Claude Sonnet 4
  • GPT-4o
  • Grok-3
  • DeepSeek V3.1
  • GPT-4o-mini as communication-act judge
  • Kimi K2.6 as unreleased second judge

Instrumentos y métricas

  • Goldberg bipolar Big Five adjective prompts
  • Nine-level linguistic qualifier protocol
  • Neutral low-cooperation paraphrase
  • MultiAgentBench milestone rubric
  • Multi-label communication-act classifier
  • Communication state phi
  • Mechanism decomposition ratio delta
  • LLM-judged planning and code-quality scales
  • Bargaining agreement and offer-movement logs
  • Single-challenger position sweep
  • Never-accept bargaining control

Datos utilizados

  • MultiAgentBench coding tasks
  • MultiAgentBench research tasks
  • MultiAgentBench bargaining tasks
  • Released MARBLE experiment JSONL logs
  • Released GPT-4o-mini classifier cache

Evidencia y localización

  • Metadatos, aceptación COLM 2026, versión y extensión: Official arXiv record and arXiv:2606.27443v2, checked 2026-07-16
  • Prompts, dominios, modelos y comunicación phi: arXiv v2, Sections 3.1-3.3 and Figure 5
  • Resultados de programación, investigación y negociación: arXiv v2, Sections 4.1-4.2 and Tables 1-3
  • Paráfrasis neutral y heterogeneidad de resultados: arXiv v2, Section 4.3 and Tables 4-5
  • Jueces, efectos, ablations, robustez y ejemplos: arXiv v2, Appendices A-L
  • Tamaños reales, conjuntos de tareas, CSV y discrepancias de código: Public repository aryankeluskar/colm2026-multi-agent-llm-teams at commit c33fc25bcadb36bb54d4123c8f2021bf90deae2a
  • Reanálisis emparejado por tarea y auditoría consolidada: reports/verification/article-293-colm-task-set-pseudoreplication-prompt-valence-judge-artifact-and-claim-audit.json