How Personas Can Influence Agents to Play Split or Steal

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Carlos Leon, Alexandre Rodrigues, Pedro Gamito, Thomas D. Parsons

Palabras clave: Personality, Persona conditioning

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
8
Hallazgos
27
Limitaciones
3
Evidencias

Resumen editorial

Español

El preprint cruza 20 biografías de persona, cuatro modelos locales y dos temperaturas de conversación en 160 partidas de Split-or-Steal contra un humano virtual que en realidad es GPT-4.1-mini. Cada partida tiene 15 rondas. Los CSV de Zenodo confirman que 1.768/2.400 rondas (73,67%) terminan en Split mutuo; el agente explota al VH en 11,08%, el VH al agente en 6,04% y ambos roban en 9,21%. Ministral y Phi4 cooperan más que los dos Gemma, y las biografías etiquetadas como Prosociales o de Principios muestran más Split que las Analíticas o de Interés Propio. Son patrones descriptivos del artefacto, no efectos causales o psicométricos. Todas las condiciones incluyen una persona, no existe control neutral y sólo hay una trayectoria estocástica por combinación. Las rondas comparten historia y no son 2.400 observaciones independientes. El paper usa “significativamente” sin presentar pruebas, intervalos ni tamaños de efecto; además, la explotación unilateral conjunta es 17,13%, no menos de 11%. Los grupos Big Five son etiquetas de Claude Opus 4.6 sobre historias que ya dicen confiar, explotar o vengarse, no puntuaciones de un test. La auditoría de anotaciones descubre otra divergencia: el método declara truncar a 2.000 caracteres, pero el CSV usa exactamente los primeros 300; 27,3% de las etiquetas de tema y 1,5% de sentimiento incumplen la suma 100 pedida. Se publican diálogos, decisiones y derivados, pero no código, seeds, revisiones de modelos ni pipeline. El estudio sirve como baseline exploratorio de prompt-following en estas simulaciones, no como evidencia sobre personalidad humana o un efecto estable de las personas.

English

The preprint crosses 20 persona biographies, four local models and two conversation temperatures in 160 Split-or-Steal sessions against a virtual human that is actually GPT-4.1-mini. Each session has 15 rounds. The Zenodo CSVs confirm that 1,768/2,400 rounds (73.67%) end in mutual Split; the agent exploits the VH in 11.08%, the VH exploits the agent in 6.04%, and both Steal in 9.21%. Ministral and Phi4 cooperate more than the two Gemma models, while biographies labeled Prosocial or Principled show more Split than Analytical or Self-Interested biographies. These are descriptive artifact patterns, not causal or psychometric effects. Every condition includes a persona, there is no neutral control, and each persona-model-temperature cell has only one stochastic trajectory. Rounds share history and are not 2,400 independent observations. The paper uses “significantly” without tests, intervals or effect sizes; combined one-sided exploitation is 17.13%, not below 11%. The Big Five groups are Claude Opus 4.6 labels applied to stories that already instruct trust, exploitation or revenge, not scores from an inventory. The annotation audit finds another divergence: Methods claim truncation at 2,000 characters, but the CSV uses exactly the first 300; 27.3% of topic rows and 1.5% of sentiment rows violate the requested sum of 100. Dialogues, decisions and derived tables are public, but code, seeds, model revisions and pipeline are not. The study is useful as an exploratory prompt-following baseline for these simulations, not evidence about human personality or a stable persona effect.

Pregunta de investigación

¿Cómo se relacionan las biografías de persona, el modelo y la temperatura del diálogo con la cooperación, explotación y estrategia aparente en un juego repetido de Split-or-Steal contra un VH basado en LLM?

Método

Se cruzan 20 biografías portuguesas con Ministral-3 3B, Phi-4 14B, Gemma3 12B y Gemma4 e4B, a temperaturas de conversación .3 y .7. Cada una de las 160 combinaciones ejecuta una sola sesión de 15 rondas; la decisión se solicita a temperatura 0 y GPT-4.1-mini genera diálogo y acción del VH. Claude agrupa las biografías mediante Big Five. Reglas deterministas clasifican estrategias y Gemma3:12b asigna porcentajes de tema y sentimiento. La revisión leyó las 25 páginas y TeX, verificó los ocho CSV crudos, tres derivados, 4.800 anotaciones, prompts, hashes, recuentos, dependencia, composición y trazabilidad.

Muestra: El diseño contiene 160 sesiones completas: 20 personas x 4 modelos x 2 temperaturas, una sesión por celda y 15 rondas por sesión. Cada modelo-temperatura aporta 20 sesiones/300 rondas. Los grupos contienen 5, 5, 5, 3 y 2 personas, equivalentes a 40, 40, 40, 24 y 16 sesiones. No hay réplicas independientes por celda ni participantes humanos.

Hallazgos

  • Split mutuo aparece en 1.768/2.400 rondas (73,67%); robo mutuo en 221 (9,21%).
  • El agente explota al VH en 266 rondas (11,08%) y el VH al agente en 145 (6,04%); juntas suman 17,13%.
  • Las tasas Split del agente a T=.3/.7 son Gemma3 .610/.637, Gemma4 .740/.687, Ministral .970/.883 y Phi4 .943/.907.
  • Las tasas de cooperación derivadas por grupo son .9617 Prosocial, .6450 Interés Propio, .7983 Reactivo, .9111 Principios y .5917 Analítico.
  • 96/160 sesiones de agente y 103/160 de VH son Always Split; 199/320 filas de estrategia reciben esa etiqueta.
  • Las decisiones del archivo anotado coinciden exactamente con las decisiones crudas y las tasas estratégicas se reconcilian salvo redondeo.
  • Los textos anotados son exactamente raw_text[:300], no el máximo de 2.000 caracteres descrito.
  • Sólo 3.490/4.800 filas de tema y 4.729/4.800 de sentimiento suman 100 como exige el prompt.

Limitaciones

  • No hay condición sin persona ni biografía neutral que estime el efecto incremental del prompting de persona.
  • Las historias contienen instrucciones semánticas directas sobre confiar, aprovecharse, ganar o vengarse.
  • Los grupos Big Five proceden de una sola clasificación de Claude sin prompt publicado, jueces independientes, acuerdo ni validación.
  • No se aplica ningún inventario Big Five; las etiquetas no son medidas psicométricas.
  • Hay una sola sesión estocástica por persona-modelo-temperatura, sin estimación de repetibilidad.
  • Las 15 rondas de cada sesión dependen de la misma historia, persona, modelo y oponente; analizarlas como independientes sería pseudorreplicación.
  • No se publican tests, intervalos, errores agrupados, tamaños de efecto ni modelos jerárquicos.
  • El término significant del abstract carece de análisis inferencial que lo respalde.
  • La frase menos de 11% de explotación no corresponde al 17,13% conjunto y ni siquiera al 11,08% del agente por separado.
  • Los grupos tienen tamaños desiguales y sus porcentajes no ajustan por modelo, temperatura, persona repetida o sesión.
  • El VH no tiene política de decisión fija y GPT-4.1-mini adapta sus acciones a la historia, por lo que no es un baseline controlado.
  • No hay humanos; la expresión human player en Resultados se refiere erróneamente al agente LLM.
  • La temperatura sólo altera el diálogo; la acción se llama a T=0 sobre historias conversacionales distintas.
  • La etiqueta estratégica depende de umbrales y orden de prioridad sobre sólo 15 acciones, sin análisis de sensibilidad.
  • La asociación tema-decisión dentro de la misma conversación no identifica dirección causal.
  • Las anotaciones truncan a 300 caracteres, contradiciendo los 2.000 declarados y eliminando finales de 2.096 turnos.
  • 1.310/4.800 distribuciones temáticas no suman 100; 72 suman cero y el rango llega a 105.
  • 71/4.800 distribuciones de sentimiento no suman 100 y el rango llega de 85 a 130.
  • Los porcentajes de Gemma no son probabilidades calibradas ni anotaciones humanas; no hay gold set ni acuerdo.
  • Gemma3:12b actúa como agente y como único anotador, con posible afinidad hacia su propio estilo.
  • Ministral deja términos de decisión al final del 20,67% de sus turnos frente a 4,83%-7,33% en otros modelos, compatible con la fuga reconocida por el paper.
  • Un rewrite no especificado modifica diálogos repetitivos sin conservar originales ni flags.
  • Cada condición se recogió en un batch fechado distinto entre marzo y abril, confundiendo condición con fecha y posible deriva del backend GPT.
  • Faltan código, seeds, orden de primer hablante, retries, payloads API, versiones Ollama y hashes de modelos.
  • Las etiquetas Ollama y GPT-4.1-mini no quedan ligadas a revisiones inmutables.
  • Sólo se estudia pt-PT y no hay evaluación humana de dialecto o naturalidad.
  • No se establece aceptación revisada por pares.

Qué no demuestra

  • Que añadir una persona cambie la conducta frente a no añadirla.
  • Que los patrones sean estables en nuevas muestras de la misma celda.
  • Que el modelo tenga una personalidad o rasgos Big Five humanos.
  • Que los grupos de Claude sean una medición psicométrica válida.
  • Que las diferencias entre modelos o temperaturas sean estadísticamente significativas.
  • Que 2.400 rondas sean observaciones independientes.
  • Que temas o sentimientos causen las decisiones.
  • Que los porcentajes anotados sean probabilidades calibradas.
  • Que el VH represente comportamiento humano o una política controlada.
  • Que el resultado generalice a humanos, realidad virtual, inglés u otros juegos.
  • Que la simulación sea reproducible end-to-end desde el depósito público.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2607.05398v1; 25-page PDF, TeX, persona definitions and Zenodo dataset 10.5281/zenodo.19854671 audited

Fuente consultada: https://arxiv.org/abs/2607.05398v1

Revisión: Codex 25-page visual full-text, TeX, Zenodo raw-data, persona-control, dependence, annotation and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • ministral-3:3b via Ollama
  • phi4:14b via Ollama
  • gemma3:12b via Ollama
  • gemma4:e4b via Ollama
  • GPT-4.1-mini as the virtual human
  • Claude Opus 4.6 for Big Five-inspired grouping
  • gemma3:12b for topic and sentiment annotation

Instrumentos y métricas

  • 15-round Split-or-Steal payoff game
  • Session cooperation, steal and switch rates
  • Rule-based TFT, WSLS, Grim Trigger and related strategy labels
  • Claude-assigned high/moderate/low OCEAN traits
  • Gemma soft-label sentiment categories
  • Gemma soft-label topic categories

Datos utilizados

  • Eight Zenodo raw game-session CSVs totaling 2,400 rounds
  • Twenty authored Portuguese persona biographies
  • Groups+Strategies.csv with 320 actor-session rows
  • Raw.csv with five persona-group summaries
  • sentiment_topic_analysis_updated.csv with 4,800 speaker-turn annotations

Evidencia y localización

  • Texto, métodos, figuras, limitaciones, personas y prompts: arXiv:2607.05398v1; PDF sha256 67669745adc4fa84a9fd35564ced1594505638430f30688c50c32daf8e4b41c7; TeX sha256 1099139ef4b2486a083492146698b3c87aa14919462d4053d11901215abc1e37
  • Diálogos, decisiones, estrategias, anotaciones y recuentos reproducidos: Zenodo 10.5281/zenodo.19854671; Data.zip sha256 c85c488239c19b27f3ce6dc10fc9f62d70d5fae9a9eeb96aade0ce93079ca467
  • Auditoría de control, pseudorreplicación, anotación, datos y reproducibilidad: reports/verification/article-350-split-steal-persona-control-pseudoreplication-annotation-data-and-reproducibility-audit.json