Hierarchical Generative Agents for Simulating Sequential Human Behavior

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Maria G. Mendoza, Lucas Waldburger, Jin Lee, Shankar Sastry

Palabras clave: LLM agents, Evacuation simulation, Cognitive hierarchy, Persona conditioning, GPT-4.1-mini, Route-choice priors, Human validity, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
10
Hallazgos
19
Limitaciones
4
Evidencias

Resumen editorial

Español

Este preprint propone un prototipo para simular decisiones secuenciales durante una evacuación mediante agentes condicionados por personas sintéticas. Cada perfil describe edad, género, percepción del riesgo, confianza en autoridades, respuesta a amenazas, rutinas, dependientes, relaciones y conocimiento espacial. La arquitectura combina un entorno urbano bidimensional parcialmente observable, memoria y percepción, una puntuación de urgencia, GPT-4.1-mini y tres niveles de decisión: intención de evacuación, elección local de ruta y navegación A*. El objetivo es superar modelos de evacuación homogéneos o perfectamente racionales y permitir que las decisiones cambien ante alertas, humo, fuego, tráfico y obligaciones sociales. La contribución defendible es arquitectónica: el repositorio permite inspeccionar cómo se conectan perfiles, reglas cognitivas, prompts, priors empíricos y planificación. No obstante, el estudio no demuestra que el comportamiento simulado prediga el comportamiento humano ni que las diferencias de personalidad emerjan de forma natural. La llamada calibración empírica consiste en convertir un conjunto controlado de elecciones de corredor en probabilidades descriptivas por edad y género y pasar esos valores al prompt de decisión de ruta. El historial contiene 208 participantes, 4.783 respuestas y 4.617 elecciones de corredor únicas en 66 tareas. El script calcula medias sobre preferencia por anchura, elementos de transición y conflictos entre ambas señales. No estima parámetros del simulador, no minimiza una función de ajuste, no informa intervalos, no separa entrenamiento y prueba y no compara trayectorias simuladas con trayectorias humanas. Algunos subgrupos son diminutos, solo tres participantes tienen la clave de género x y ciertas celdas de conflicto reúnen tres o diez decisiones, pero el JSON omite n e incertidumbre. Además, la edad se calcula como 2020 menos año de nacimiento; al menos un registro da -1 y se excluye silenciosamente de los grupos. La principal evidencia conductual del artículo es un escenario mínimo con dos agentes y un fuego estático. El PDF llama al agente rojo risk-averse y al azul risk-prone y afirma que el rojo mantiene más distancia del fuego. La configuración ejecutable contiene exactamente las etiquetas opuestas: el agente rojo Isabello es highly risk prone y el azul Klaus highly risk averse. Por tanto, el patrón visual publicado, si procede de esa configuración, contradice la interpretación de la figura. El artefacto tampoco permite reconstruirla: solo tres logs mencionan explícitamente ambos perfiles; sus archivos de trayectoria tienen cabeceras pero ninguna posición, el notebook histórico de validación se limita a cargar una ruta local y ejecutar main.py, y no existe un script trazable que genere la figura. En las tres corridas ambos agentes ignoran la alerta leve y evacuan cuando un evento textual dice literalmente que la evacuación es obligatoria. Las justificaciones del LLM son inestables: en unos casos risk prone significa subestimar el peligro y en otro se usa como razón para evacuar pronto. El discussion llama a los perfiles estadísticamente distinguibles, pero ni el PDF ni el código proporcionan n, test, estadístico, p, intervalo o tamaño de efecto. Además, el comportamiento está preestructurado por una puntuación determinista de urgencia, modificadores activados por texto de persona y reglas explícitas de seguridad y cuidado de dependientes. Sin ablaciones de reglas, persona, priors y LLM no se sabe qué componente produce cada resultado. El estudio de escalabilidad ejecuta tres episodios con uno a cinco agentes y muestra que el uso de tokens crece y tiene picos en pasos con estímulos. Esto documenta un coste del prototipo, no escalabilidad general. El propio artículo reconoce que faltan trazas humanas secuenciales y deja para trabajo futuro comparar distribuciones y repetir con agentes las tareas T-intersection realizadas por participantes; ese reconocimiento delimita correctamente el estado actual. El repositorio aporta código, datos, configuraciones, logs y notebooks, pero no es un paquete reproducible: la rama por defecto está desactualizada frente a prompt-cleaning, el paper no fija rama o commit, faltan README superior, licencia, release, entorno bloqueado, tests y CI, la semilla de configuración no se pasa a env.reset y el alias remoto del modelo no está fijado. Más grave, la rama pública por defecto contiene una probable credencial OpenAI en texto plano; este resumen omite deliberadamente su valor y exige revocarla y purgarla del historial. Los CSV con datos individuales también carecen, dentro del repositorio, de licencia, diccionario, declaración de uso y documentación de consentimiento o desidentificación. El prototipo es una base interesante para investigar arquitecturas cognitivas híbridas, pero antes de usarse en planificación de emergencias necesita corregir las etiquetas, reconstruir una canalización reproducible, incorporar baselines y ablaciones, validar constructos, evaluar contra personas fuera de muestra, cuantificar incertidumbre y resolver seguridad y gobernanza de datos.

English

This preprint proposes a prototype for simulating sequential evacuation decisions with persona-conditioned agents. Each profile describes age, gender, risk perception, trust in authorities, threat response, routines, dependents, relationships, and spatial knowledge. The architecture combines a partially observable two-dimensional urban environment, perception and memory, an urgency score, GPT-4.1-mini, and three decision levels: evacuation intent, local route choice, and A* navigation. Its aim is to move beyond homogeneous or perfectly rational evacuation models and let decisions change in response to alerts, smoke, fire, traffic, and social obligations. The defensible contribution is architectural: the repository makes the links among profiles, cognitive rules, prompts, empirical priors, and navigation inspectable. It does not, however, show that simulated behavior predicts human behavior or that personality differences emerge naturally. The claimed empirical calibration consists of converting a controlled corridor-choice dataset into descriptive age-by-gender probabilities and passing those values to the route-choice prompt. Repository history contains 208 participants, 4,783 responses, and 4,617 unique corridor choices across 66 tasks. The script computes means for corridor width, transition cues, and cue conflicts. It does not fit simulator parameters, minimize a calibration objective, report intervals, split training and evaluation, or compare simulated trajectories with human trajectories. Some subgroups are very small, only three participants use the x gender key, and some conflict cells contain three or ten decisions, yet the JSON omits sample sizes and uncertainty. Age is also hard-coded as 2020 minus birth year; at least one record yields -1 and is silently excluded from the groups. The paper's main behavioral evidence is a minimal two-agent scenario with a static fire. The PDF calls the red agent risk-averse and the blue agent risk-prone and says red remains farther from the fire. The executable configuration assigns exactly the opposite labels: red Isabello is highly risk prone and blue Klaus is highly risk averse. If the published visual came from that configuration, its apparent pattern contradicts the figure's interpretation. The artifact cannot reconstruct it either: only three logs explicitly mention both profiles; their trajectory files contain headers but no positions, the historical validation notebook merely loads an author-specific local path and runs main.py, and no traceable script generates the figure. In all three runs both agents ignore the mild alert and evacuate when a textual event literally says evacuation is required. LLM rationales are semantically unstable: some use risk prone to mean underestimating danger, while another uses it as a reason to evacuate promptly. The discussion calls the profiles statistically distinguishable, but neither paper nor code reports n, a test, statistic, p value, interval, or effect size. Behavior is also prestructured by a deterministic urgency score, persona-text modifiers, and explicit safety and dependent-care rules. Without ablations of rules, persona, priors, and LLM, the source of each effect is unknown. The scalability study runs three episodes with one to five agents and shows token growth and spikes at stimulus steps. This documents a local prototype cost, not general scalability. The paper itself acknowledges that sequential human ground truth is absent and leaves distributional comparisons and matched human T-intersection tasks to future work; that admission correctly bounds the present evidence. The repository offers code, data, configurations, logs, and notebooks, but it is not a reproduction package: default main is stale relative to prompt-cleaning, no paper branch or commit is specified, and a top-level README, license, release, locked environment, tests, and CI are absent. The configured seed is not passed to env.reset, and the remote model alias is not pinned. More seriously, the public default branch contains a probable plaintext OpenAI credential; this review deliberately omits its value and recommends immediate revocation and history purging. Participant-level CSVs also lack an adjacent license, dictionary, data-use statement, and consent or de-identification documentation. The prototype is an interesting basis for research on hybrid cognitive architectures, but emergency-planning use would require corrected labels, a reproducible pipeline, baselines and ablations, construct validation, held-out human evaluation, uncertainty quantification, and resolved security and data-governance issues.

Pregunta de investigación

¿Puede una arquitectura jerárquica que combina perfiles textuales, priors de elección de ruta, reglas cognitivas, GPT-4.1-mini y navegación A* producir decisiones secuenciales heterogéneas y plausibles durante una evacuación dinámica?

Método

Entorno urbano parcialmente observable con fuego, humo y tráfico; personas sintéticas con atributos demográficos, cognitivos, sociales y espaciales; puntuación de urgencia y memoria; GPT-4.1-mini para intención de alto nivel y decisiones locales; A* para navegación. Los datos de 208 participantes se agregan en priors descriptivos por edad y género. La evaluación publicada consiste en ejemplos cualitativos, un escenario mínimo de dos agentes con fuego estático y tres episodios de escalabilidad para cada tamaño de uno a cinco agentes.

Muestra: Datos empíricos del historial: 208 participantes y 4.617 decisiones de corredor en 66 tareas. Validación conductual: dos personas sintéticas, una por perfil de riesgo, con número de episodios no informado en el paper; solo tres logs del repositorio mencionan ambos perfiles. Escalabilidad: tres episodios por condición con uno a cinco agentes.

Hallazgos

  • El prototipo implementa una jerarquía inspeccionable de intención, ruta local y navegación A* condicionada por personas sintéticas.
  • Las respuestas cualitativas cambian ante alertas, humo, fuego, tráfico y obligaciones familiares, aunque no se separa el efecto de reglas, prompts y LLM.
  • Los priors empíricos se derivan de 4.617 elecciones de corredor, pero son agregados descriptivos y no una calibración del simulador.
  • La figura de validación etiqueta rojo como risk-averse y azul como risk-prone, mientras la configuración ejecutable asigna rojo como risk prone y azul como risk averse.
  • Los tres logs explícitos hacen que ambos agentes evacúen tras una orden textual obligatoria y contienen justificaciones contradictorias del rasgo risk prone.
  • No hay datos de trayectoria trazables ni script para reproducir la figura de validación.
  • No existe análisis estadístico trazable que respalde perfiles de proximidad estadísticamente distinguibles.
  • El consumo de tokens crece con uno a cinco agentes y tiene picos en pasos de replanning, mostrando escalabilidad limitada del prototipo.
  • El propio paper reconoce que falta ground truth humano secuencial y propone validación cuantitativa futura.
  • La rama pública por defecto expone una probable credencial OpenAI y debe considerarse comprometida.

Limitaciones

  • No se comparan decisiones o trayectorias secuenciales simuladas con personas fuera de muestra.
  • Los priors son medias por edad y género sin intervalos, tamaño de celda en el JSON ni modelo jerárquico para decisiones repetidas.
  • Subgrupos muy pequeños producen probabilidades aparentemente precisas.
  • El cálculo de edad usa 2020 como constante y genera al menos una edad imposible excluida silenciosamente.
  • La generalización de escaleras a elementos de transición urbanos no se valida.
  • La validación tiene una sola persona por perfil y confunde riesgo, identidad, posición inicial, objetivo y descripción.
  • Las etiquetas de color y riesgo están invertidas entre paper y configuración.
  • Faltan las posiciones de las trayectorias de validación y la canalización que genera la figura.
  • No se informa test, n, p, intervalo o tamaño de efecto para la afirmación estadística.
  • Los time steps son autocorrelacionados y no serían réplicas independientes.
  • La orden textual de evacuación y las reglas explícitas introducen fuertes demand characteristics.
  • No hay baselines rule-only, LLM-only, sin persona, con persona permutada o sin priors.
  • No hay validación de una escala psicológica de percepción del riesgo ni manipulation check.
  • La semilla configurada no se pasa a env.reset y el modelo remoto no está fijado por snapshot.
  • Tres episodios por tamaño no caracterizan incertidumbre o escalabilidad general.
  • La rama relevante del paper no se identifica y la rama por defecto está desactualizada.
  • Faltan README superior, licencia, release, lockfile, tests y CI.
  • Una probable credencial OpenAI está publicada en la rama principal y el historial.
  • Los CSV con datos individuales carecen en el repositorio de licencia y documentación de gobernanza.

Qué no demuestra

  • No demuestra precisión predictiva sobre evacuaciones humanas reales.
  • No demuestra que el simulador esté calibrado cuantitativamente con datos humanos.
  • No valida risk prone y risk averse como constructos psicológicos en los agentes.
  • No demuestra que las diferencias de personalidad emerjan naturalmente del LLM.
  • No demuestra que el patrón rojo/azul publicado corresponda a las etiquetas descritas.
  • No demuestra que los perfiles de proximidad sean estadísticamente distinguibles.
  • No identifica qué parte del comportamiento procede del LLM, las reglas, el prompt o los priors.
  • No generaliza a otras emergencias, ciudades, culturas, modelos o poblaciones.
  • No justifica el uso operativo para asignación de recursos, diseño de alarmas o planificación urbana.
  • No ofrece todavía un artefacto seguro y reproducible de extremo a extremo.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.14989v1

Fuente consultada: https://arxiv.org/abs/2606.14989v1

Revisión: Codex twenty-page full-text visual, TeX, empirical-data, public-code-history, human-validity, security and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-4.1-mini via OpenAI API
  • Deterministic urgency and reflection module
  • A* low-level route planner
  • Persona-conditioned hierarchical agent

Instrumentos y métricas

  • Dynamic MiniGrid-style urban environment
  • Hand-authored persona YAML profiles
  • Perception and associative-memory modules
  • PADM-inspired urgency representation
  • Age-by-gender route-choice priors
  • High-level intent and mid-level direction prompts
  • Trajectory, intent, urgency and token logs

Datos utilizados

  • Controlled evacuation corridor-choice data: 208 participants, 4,783 response rows and 4,617 corridor decisions
  • Hand-authored synthetic persona profiles
  • Synthetic urban maps and simulation logs
  • Aggregate mobility and PADM studies used as conceptual background, not model-evaluation data

Evidencia y localización

  • Metadatos y versión: Official arXiv record 2606.14989v1, checked 2026-07-16
  • Arquitectura, resultados, apéndices y límites declarados: arXiv v1, all twenty PDF pages and TeX source
  • Código, datos, etiquetas, logs, ramas y seguridad: Public hierarchical_LLM_agents repository; prompt-cleaning commit dda54ab9e53def1543e13ac0b0092a5a0e18749c, main commit ccccd0496e7fbd6ee27fcbeb3c6f745368321410 and validation-history commit a54ae50
  • Recálculos, validez humana, reproducibilidad y límites de afirmación: reports/verification/article-299-hierarchical-evacuation-agents-human-validity-label-reversal-security-and-reproducibility-audit.json