LLM-Driven Personalities for Decision Making in Emergency Simulations

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Stefano Calzolari, Rubens Montanha, Gabriel Schneider, Gustavo Wide, Paulo Knob, Francesco Strada, Andrea Bottino, Soraia Raupp Musse

Palabras clave: OCEAN personality prompts, LLM-driven virtual agents, Emergency evacuation simulation, Crowd simulation, Prompt-conditioned decision making, Rescue behavior, gpt-oss-120b

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

8
Autores
6
Hallazgos
12
Limitaciones
6
Evidencias

Resumen editorial

Español

Este trabajo prueba si descripciones textuales basadas en OCEAN cambian las decisiones de agentes virtuales controlados por un LLM en una evacuación de incendio. Usa un único modelo, gpt-oss:120b-cloud mediante Ollama, con temperatura 0,1, top-k 10 y top-p 0,1. Construye seis prompts: cinco perfiles extremos y uno denominado neutral. Cada perfil extremo no modifica un rasgo de forma aislada: fija el rasgo que le da nombre en alto y los otros cuatro en bajo, convirtiendo el vector completo en largas listas de adjetivos. Cien agentes por perfil reciben hasta cinco avisos de peligro creciente y eligen Evacuate, Continue o Panic. Los resultados son casi deterministas: los 100 agentes conscientious y neutral terminan evacuando, los 100 neurotic terminan en pánico, cerca del 80% de los open evacúa y aproximadamente el 20% continúa, mientras solo alrededor del 20% de los extraverted evacúa. En un segundo ejercicio se ejecuta una sola simulación de 30 agentes por cada uno de cuatro perfiles ayudantes, siempre junto a 15 agentes neurotic. Todas las llamadas de rescate observadas para neutral (9) y agreeable (12) respondieron ayudar; todas las de conscientious (52) y open (31) respondieron no ayudar. Esto demuestra que la redacción de estos prompts puede producir políticas de acción distintas en este modelo y escenario. No demuestra que los agentes reproduzcan personalidad humana ni que la simulación sea más realista. Los perfiles cambian simultáneamente los cinco rasgos y contienen adjetivos que anticipan directamente las respuestas: anxious e impulsive favorecen Panic; altruistic y cooperative favorecen Help; adventurous y daring favorecen ignorar el riesgo. El control neutral tampoco está libre de personalidad: incluye a la vez todos los marcadores positivos y negativos, muchos contradictorios. No existe control sin persona, comparación con humanos, modelo psicológico cuantitativo, segundo LLM, baseline basado en reglas ni validación con evacuaciones reales. El artículo usa significativamente en sentido narrativo, pero no presenta pruebas de hipótesis, intervalos de confianza ni análisis de independencia. Las cuatro simulaciones de rescate aportan una ejecución por condición y cuentan encuentros dentro de cada trayectoria, no réplicas independientes; además no informan tiempos de evacuación, víctimas o una métrica colectiva de seguridad. Sin código, prompts completos de usuario, salidas, datos, semillas o versiones fijadas del modelo, las cifras no son reproducibles. La conclusión fiel es limitada pero útil: un LLM puede traducir descriptores de personalidad muy explícitos en decisiones distintas dentro de un prototipo de evacuación; la fidelidad psicológica, el realismo y la mejora frente a métodos tradicionales quedan pendientes de validación.

English

This paper tests whether OCEAN-derived textual descriptions change the decisions of LLM-controlled virtual agents in a fire-evacuation simulation. It uses one model, gpt-oss:120b-cloud through Ollama, with temperature 0.1, top-k 10, and top-p 0.1. Six prompts are constructed: five extreme profiles and one labeled neutral. An extreme profile does not manipulate one trait in isolation. It sets the named trait high and all four other traits low, then turns the full vector into long adjective lists. One hundred agents per profile receive up to five increasingly severe warnings and choose Evacuate, Continue, or Panic. Outcomes are nearly deterministic: all 100 conscientious and neutral agents eventually evacuate, all 100 neurotic agents end in panic, about 80% of open agents evacuate while roughly 20% continue, and only about 20% of extraverted agents evacuate. A second exercise runs one 30-agent simulation for each of four helper profiles, always paired with 15 neurotic agents. Every observed rescue call for neutral (9) and agreeable (12) returns help, whereas every call for conscientious (52) and open (31) refuses help. This shows that these prompt wordings can produce different action policies in this model and scenario. It does not show that the agents reproduce human personality or that the simulation is more realistic. Profiles change all five traits simultaneously and include adjectives that directly cue the expected response: anxious and impulsive favor Panic, altruistic and cooperative favor Help, and adventurous and daring favor risk-taking. The neutral control is not personality-free either; it includes all positive and negative markers together, many of them contradictory. There is no no-persona control, human comparison, quantitative psychological model, second LLM, rule-based baseline, or validation against real evacuations. The paper uses significantly narratively but reports no hypothesis test, confidence interval, or dependence analysis. The rescue study has one simulation per condition and counts encounters nested within each trajectory rather than independent replications; it also reports no evacuation time, casualty, or collective-safety outcome. Without public code, complete user prompts, outputs, data, seeds, or a pinned model version, the figures are not reproducible. The faithful conclusion is limited but useful: an LLM can map highly explicit personality descriptors to different decisions in an evacuation prototype; psychological fidelity, realism, and improvement over traditional methods remain unvalidated.

Pregunta de investigación

¿Pueden prompts textuales derivados de perfiles OCEAN hacer que un LLM elija acciones distintas para agentes virtuales durante una evacuación, tanto ante alertas de incendio como ante oportunidades de ayudar a agentes en pánico?

Método

Prototipo Unity 3D con BioCrowds conectado por ZeroMQ a una tubería LangChain. gpt-oss:120b-cloud recibe biografía, contexto laboral, un perfil OCEAN convertido en adjetivos, memoria de decisiones y uno de cinco avisos de peligro creciente; devuelve JSON con Evacuate, Continue o Panic y un racional. Se ejecutan 100 trayectorias por cada uno de seis perfiles. Después se realizan cuatro simulaciones de 30 agentes, con 15 neurotic y 15 de un perfil ayudante, para registrar respuestas binarias de rescate al encontrarse a menos de cinco metros.

Muestra: Primer ejercicio: 600 agentes o trayectorias, 100 por cada uno de seis perfiles, con hasta cinco decisiones secuenciales. Segundo ejercicio: cuatro simulaciones de 30 agentes; cada una combina 15 neurotic con 15 neutral, agreeable, conscientious u open. Se observan 9, 12, 52 y 31 encuentros de rescate respectivamente, pero solo una trayectoria colectiva por condición.

Hallazgos

  • Los 100 perfiles conscientious y los 100 neutral terminan evacuando; los 100 neurotic terminan en pánico.
  • Al final del quinto aviso, aproximadamente 80% de open evacúa y 20% continúa, mientras solo alrededor de 20% de extraverted evacúa y el resto continúa.
  • La mayoría de evacuaciones ocurre tras los avisos segundo y tercero, no tras el primer mensaje de peligro.
  • En las cuatro simulaciones de rescate, neutral ayuda en 9/9 encuentros y agreeable en 12/12; conscientious rehúsa en 52/52 y open en 31/31.
  • Los racionales generados repiten el vocabulario del prompt, haciendo visible que el modelo asocia los adjetivos explícitos con las acciones disponibles.
  • El sistema integra llamadas LLM estructuradas con un simulador espacial que pausa mientras decide cada agente, demostrando viabilidad técnica del prototipo.

Limitaciones

  • Solo se evalúa un modelo servido mediante un alias cloud mutable; no hay comparación entre modelos ni versión inmutable del peso o servicio.
  • Cada perfil eleva un rasgo y reduce los otros cuatro, por lo que ninguna diferencia identifica el efecto causal del rasgo que da nombre al perfil.
  • Las listas incluyen pistas semánticas directas hacia las acciones disponibles, como anxious, altruistic, cooperative, adventurous y daring.
  • El supuesto neutral concatena marcadores altos y bajos contradictorios; no es un control sin condicionamiento de personalidad.
  • No se incluye condición sin persona, ablación de adjetivos, baseline por reglas, comparación humana ni validación psicométrica o conductual.
  • No se reportan semillas de muestreo, número de reintentos, errores de parseo, estabilidad entre ejecuciones o sensibilidad a temperatura y redacción.
  • El artículo no presenta pruebas estadísticas, intervalos de confianza, tamaños de efecto inferenciales ni corrección por decisiones secuenciales y encuentros anidados.
  • El estudio de rescate dispone de una simulación colectiva por condición; los 9, 12, 52 y 31 encuentros no son réplicas independientes.
  • No se miden tiempos de evacuación, congestión, uso de salidas, víctimas, rescates completados ni otra variable que cuantifique seguridad colectiva.
  • La dinámica espacial es simplificada: quienes evacúan conocen el camino óptimo; quienes entran en pánico dejan de moverse; ayudar se activa a menos de cinco metros y fija velocidades manualmente.
  • No se publican código, configuración completa, prompts de usuario, decisiones, racionales, datos de trayectorias, logs ni manifestación reproducible.
  • Un único edificio, una biografía de ingeniero de software y tres acciones predefinidas limitan la generalización.

Qué no demuestra

  • No establece que los perfiles correspondan a personalidad humana real ni que midan de forma válida los cinco factores OCEAN.
  • No aísla conscientiousness, agreeableness, neuroticism, openness o extraversion porque cada perfil cambia los cinco rasgos simultáneamente.
  • No demuestra que una multitud LLM sea más realista, creíble o adaptable; no hay observadores humanos ni datos reales de evacuación como criterio.
  • No demuestra superioridad ni flexibilidad práctica frente a sistemas basados en reglas, porque no se implementa un baseline comparable.
  • No permite interpretar los patrones casi deterministas como distribución de conducta humana; pueden ser seguimiento literal de pistas léxicas.
  • No sustenta la palabra significativamente como inferencia estadística, ya que no se presenta ningún contraste formal.
  • No demuestra que ayudar mejore la seguridad o eficiencia colectiva; solo cuenta respuestas del LLM ante encuentros y no resultados de evacuación.
  • No permite reproducir las figuras ni evaluar robustez al carecer de artefactos públicos y semillas.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.31038v1; CASAXR 2026 conference contribution listed in press by Politecnico di Torino

Fuente consultada: https://arxiv.org/pdf/2606.31038

Revisión: Codex 12-page full-text visual, TeX source, publication-status, construct, prompt, experimental-design, statistical, artifact, reproducibility and claim audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • gpt-oss:120b-cloud through Ollama

Instrumentos y métricas

  • Five OCEAN-derived extreme adjective prompts
  • Contradictory all-markers neutral prompt
  • Five escalating fire-alert messages
  • Evacuate, Continue, or Panic structured action
  • Binary rescue Call for Actions
  • Unity 3D and BioCrowds evacuation prototype
  • Agent rationale generated by the same LLM

Datos utilizados

  • Unreleased outputs from 600 prompt-conditioned agent trajectories
  • Unreleased encounter decisions from four 30-agent rescue simulations
  • 3D replica of a real office used as a synthetic scene

Evidencia y localización

  • Estado, autores y contribución CASAXR 2026 en prensa: Official arXiv record 2606.31038v1 and Politecnico di Torino IRIS record 11583/3010356, checked 2026-07-16
  • Arquitectura, conversión OCEAN, prompts, simulador y acciones: arXiv v1, Sections 3.1-3.3 and Tables 1-3
  • Seiscientas trayectorias, configuración del modelo y patrones de decisión: arXiv v1, Sections 4 and 4.1, Figures 3-5 and Table 4
  • Cuatro simulaciones de rescate, encuentros y respuestas: arXiv v1, Section 4.2, Figure 7 and Table 5
  • Limitaciones reconocidas y validación real pendiente: arXiv v1, Section 5
  • Ausencia de repositorio o datos localizables y auditoría de constructo, estadística y reproducibilidad: reports/verification/article-287-arxiv-ocean-emergency-prompt-confounding-realism-statistics-artifact-and-claim-audit.json