PAVE: A Cognitive Architecture for Legitimate Violation in Generative Agent Societies

Este preprint de 23 páginas propone PAVE, Perception, Assessment, Verdict y Emulation, una arquitectura de prompts y control para que agentes generativos decidan cuándo cumplir o infringir reglas formales. El problema de partida es razonable: un agente que siempre obedece puede fallar en una emergencia, mientras que uno que flexibiliza reglas sin límites puede convertir una excepción en conducta permisiva. PAVE intenta separar la detección del contexto, la valoración de la excepción, la decisión y la ejecución acotada. La contribución demostrada es de ingeniería de agentes dentro de una simulación; no es una validación psicológica de cómo razonan las personas ni una prueba de legitimidad jurídica o moral.

Perception transforma el estado del entorno y la descripción del agente en un objeto estructurado con presencia y distancia de autoridad, conducta observable de pares, señales situacionales con tipo, distancia y severidad, y un resumen de escena. Assessment pide al LLM cinco puntuaciones de 1 a 100: riesgo, expectativa empírica, expectativa normativa, beneficio y legitimidad. Esta última debe reflejar necesidad, proporcionalidad y ausencia de alternativas. Verdict aplica una puerta dura: si legitimidad queda por debajo del umbral personal tau, el agente debe cumplir; si lo supera, el LLM integra el resto de puntuaciones y la persona para decidir y justificar. Emulation convierte el veredicto en una secuencia de acciones limitada a la regla nombrada y hace visible el resultado a agentes cercanos.

La implementación descrita usa Voville, un entorno de tráfico de 64 por 64 baldosas derivado de Smallville. Añade semáforos, pasos de peatones, calles de sentido único, rutas legales A*, incendios controlados, policías y peatones guionizados. Los autores escriben diez personas y siete reglas; GPT-4o infiere una vez para cada persona un umbral de legitimidad entre 40 y 75, reutilizado en las cinco semillas. Se prueban GPT-4o, Claude 3.5 Sonnet, Llama 3 70B Instruct y GPT-4o-mini con temperatura cero. Cada simulación cubre dos días de 1.000 ticks de diez segundos. Las tasas se agregan primero dentro de cada semilla y después sobre cinco semillas.

Hay tres escenarios. En el primero, ocho agentes salen de una cafetería incendiada y dos observadores lejanos permanecen fuera del radio del fuego. En el segundo se conserva el incendio y se colocan dos policías en intersecciones posteriores, dejando la salida inmediata sin supervisión. En el tercero, dos viajeros con prisa ven a dos peatones guionizados cruzar en rojo; el segundo día se añade un policía pasivo. Para GPT-4o, el artículo informa una tasa de infracción durante el incendio de 0,81, infracciones de reglas no relacionadas de 0,02 y recuperación en 4,2 ticks. Con autoridad, el cumplimiento ante el policía es 0,94, la infracción cae a 0,05 a 0–3 baldosas y sube a 0,65 a más de 12. Bajo presión de pares, PAVE cruza en rojo 0,04 frente a 0,58 del baseline vanilla; con policía pasivo baja a 0,02. Los otros backbones mantienen la dirección general, con peores cifras para GPT-4o-mini.

La ablación realmente publicada compara solo tres condiciones con GPT-4o: PAVE completo, PAVE sin puerta de legitimidad y el agente vanilla inspirado en Park et al. Al retirar la puerta, la conversión por pares sube de 0,04 a 0,39 y la infracción no relacionada de 0,02 a 0,21; el cumplimiento ante policía baja de 0,94 a 0,78. Vanilla reacciona poco al fuego, 0,12, infringe reglas no relacionadas 0,31, cumple ante policía 0,16 y copia a pares 0,58. El artículo atribuye parte del fallo a que el score de importancia 1–10 de Smallville valora el incendio como un evento poco capaz de alterar el plan. Esa comparación es sugerente, pero enfrenta instrumentos y prompts distintos: reescalar importancia a 0–100 no la convierte en la misma medida que severidad.

Treinta evaluadores de un pool universitario, con inglés fluido y al menos un curso afín, completaron ocho tareas Likert de siete puntos. Vieron fragmentos de una ejecución GPT-4o con persona, entrada y salida de un módulo y juzgaron si el resultado encajaba con una afirmación específica. El baseline vanilla apareció en el 25% de tareas. Se informa alfa de Krippendorff 0,71 y una media global de 5,78 para PAVE frente a 3,42 para vanilla. Esto apoya que los fragmentos de PAVE parecieron más coherentes con los criterios definidos por los autores. No compara a los agentes con personas reales en las mismas emergencias, no valida legitimidad y no sustenta por sí solo la afirmación amplia de comportamiento humano plausible. Tampoco se liberan respuestas individuales, selección exacta de fragmentos ni cálculo de intervalos.

La principal cautela de constructo es que PAVE incorpora aquello que después mide. Los autores definen reglas, gravedad del incendio, radio de autoridad, criterios de legitimidad, personas, escenarios y métricas; un LLM puntúa esos criterios y una puerta determinista fuerza el cumplimiento cuando la puntuación no alcanza el umbral. Por eso los resultados muestran que el mecanismo diseñado aplica su política interna en escenarios afines, no que haya descubierto cuándo una infracción es legítima. La deferencia a autoridad y su caída espacial también están codificadas en prompts y entorno. Los umbrales derivados de personas no proceden de un test psicométrico, no se reelicitan y no se contrastan con juicios humanos, de modo que el estudio no valida rasgos de personalidad ni diferencias individuales estables.

El diseño presenta inconsistencias relevantes. Introducción y contribuciones anuncian cinco condiciones de ablación, pero método, resultados y apéndice contienen tres; faltan las ablaciones del mecanismo de alcance y del módulo de autoridad necesarias para atribuir cada propiedad a su componente. Un párrafo dice un confederado por escenario, mientras figuras, escenario y apéndice describen dos jaywalkers y dos policías. Los resultados principales se rotulan a veces como error estándar sobre cinco semillas y el apéndice afirma intervalos de confianza del 95%; no se publica el método. Tampoco hay valores por semilla, tests, control de multiplicidad ni tratamiento de la dependencia entre ticks y agentes. La correlación 0,71 entre legitimidad y violación carece de n e intervalo y está parcialmente inducida por la puerta que usa la propia legitimidad.

La analogía humana tampoco queda validada por las citas usadas. Koper (1995) estudia duración de paradas policiales y tiempo hasta delito o desorden en puntos calientes; Ratcliffe et al. (2011) estudia patrullas a pie y crimen violento en zonas de Filadelfia. No miden peatones, cumplimiento según distancia, una frontera de doce baldosas ni recuperación después de una emergencia. Por ello no sostienen que Voville reproduzca un patrón de peatones humanos ni que lo haga sin haber sido dirigido: radio, colocación y calendario de autoridad son decisiones explícitas del sistema.

La reproducibilidad pública es insuficiente. El PDF y el TeX contienen ecuaciones, prompts, personas, parámetros y tablas agregadas, lo que permite auditar el diseño conceptual. Sin embargo, el apartado de código enlaza literalmente a «<anonymous URL during review>», y el registro oficial de arXiv dice que código y entorno se liberarán tras publicación. No se encontró un repositorio atribuible. Faltan Voville, mapas TMX, implementación, configuraciones, logs JSONL, llamadas y respuestas de modelos, resultados por agente/semilla, scripts de evaluación, materiales humanos, entorno, tests y CI. Ninguna cifra puede recomputarse hoy. La conclusión segura es que PAVE ofrece un patrón de arquitectura prometedor para acotar excepciones en agentes, con evidencia interna en tres escenarios diseñados; todavía no demuestra cognición humana, legitimidad general, generalización fuera del tráfico ni resultados reproducibles de forma independiente.

This 23-page preprint proposes PAVE, Perception, Assessment, Verdict, and Emulation, a prompt-and-control architecture for generative agents deciding when to comply with or violate formal rules. The motivating problem is reasonable: an agent that always obeys can fail during an emergency, while an agent that relaxes rules without constraints can turn an exception into permissive behavior. PAVE separates context detection, exception assessment, decision, and bounded execution. Its demonstrated contribution is agent engineering inside a simulation; it is not a psychological validation of human reasoning or evidence of legal or moral legitimacy.

Perception converts environment state and agent description into a structured object containing authority presence and distance, observable peer behavior, typed situational cues with distance and severity, and a scene summary. Assessment asks the LLM for five 1–100 scores: risk, empirical expectation, normative expectation, benefit, and legitimacy. Legitimacy is instructed to reflect necessity, proportionality, and absence of alternatives. Verdict applies a hard gate: if legitimacy is below a persona-specific threshold tau, the agent must comply; above it, the LLM combines the remaining scores and persona to decide and justify compliance or violation. Emulation translates the verdict into an action sequence limited to the named rule and exposes observable outcomes to nearby agents.

The described implementation uses Voville, a 64 by 64 tile traffic environment derived from Smallville. It adds traffic signals, crosswalks, one-way streets, A* legal routes, controllable fires, scripted officers, and scripted pedestrians. The authors write ten personas and seven rules; GPT-4o elicits one legitimacy threshold per persona, between 40 and 75, which is reused for all five seeds. GPT-4o, Claude 3.5 Sonnet, Llama 3 70B Instruct, and GPT-4o-mini are tested at temperature zero. Each simulation spans two 1,000-tick days with ten seconds per tick. Rates are aggregated within seed and then across five seeds.

There are three scenarios. In the first, eight agents evacuate a burning cafe while two distant observers remain outside the fire radius. The second keeps the fire and places two officers at downstream intersections while leaving the immediate exit unsupervised. In the third, two late commuters see two scripted pedestrians cross against a red light; a passive officer is added on day two. For GPT-4o, the paper reports fire-window violation 0.81, unrelated-rule violation 0.02, and recovery in 4.2 ticks. With authority, officer compliance is 0.94, violation is 0.05 at 0–3 tiles and 0.65 beyond 12. Under peer pressure, PAVE jaywalks at 0.04 versus 0.58 for vanilla; the passive officer reduces PAVE to 0.02. Other backbones preserve the broad direction, with GPT-4o-mini generally weaker.

The actual ablation contains only three GPT-4o conditions: full PAVE, PAVE without the legitimacy gate, and a vanilla Park-style agent. Removing the gate raises peer conversion from 0.04 to 0.39 and unrelated-rule violation from 0.02 to 0.21; officer compliance falls from 0.94 to 0.78. Vanilla under-reacts to fire at 0.12, violates unrelated rules at 0.31, complies with officers at 0.16, and follows peers at 0.58. The paper attributes part of this failure to Smallville's 1–10 importance score treating fire as insufficiently plan-changing. The comparison is suggestive but uses different prompts and constructs: rescaling importance to 0–100 does not make it the same instrument as severity.

Thirty evaluators from a university participant pool, all English-fluent with at least one relevant course, completed eight seven-point Likert tasks. They saw an excerpt from one GPT-4o run containing a persona, module input, and module output, then judged agreement with a module-specific statement. Vanilla appeared in 25% of tasks. The paper reports Krippendorff alpha 0.71 and an overall mean of 5.78 for PAVE versus 3.42 for vanilla. This supports the narrower conclusion that PAVE excerpts looked more coherent with author-defined criteria. It does not compare agents with humans facing the same emergencies, validate legitimacy, or by itself justify broad human-plausibility language. Individual responses, exact excerpt selection, and interval calculations are not released.

The central construct caution is that PAVE builds in what it later measures. The authors define rules, fire severity, authority radius, legitimacy criteria, personas, scenarios, and metrics; an LLM scores those criteria and a deterministic gate forces compliance below threshold. The results therefore show that the designed mechanism applies its internal policy in aligned scenarios, not that it discovered when violation is legitimate. Authority deference and spatial decay are also encoded in prompts and environment. Persona-derived thresholds do not come from a psychometric instrument, are not re-elicited, and are not compared with human judgments, so the study does not validate personality traits or stable individual differences.

The design contains material inconsistencies. The introduction and contribution list claim five ablation conditions, while methods, results, and appendix report three; the bounded-scope and authority-module ablations needed to attribute every property are absent. One paragraph states one confederate per scenario, while figures, scenario details, and appendix describe two jaywalkers and two officers. Main results are sometimes labeled standard errors over five seeds, whereas the appendix calls them 95% confidence intervals; no method is given. Seed-level values, tests, multiplicity handling, and dependence across ticks and co-located agents are absent. The 0.71 legitimacy-violation correlation lacks n and uncertainty and is partly mechanically induced by the gate that consumes legitimacy.

The claimed human analogy is not validated by the cited studies. Koper (1995) examines patrol-stop duration and time until crime or disorder in hot spots; Ratcliffe et al. (2011) examines foot patrols and violent crime in Philadelphia hot spots. Neither measures pedestrian compliance by officer distance, a twelve-tile boundary, or post-emergency recovery. They therefore do not support the statement that Voville reproduces a human pedestrian pattern or does so without targeting it: authority radius, placement, and two-day timing are explicit design choices.

Public reproducibility is insufficient. The PDF and TeX include equations, prompts, personas, parameters, and aggregate tables, enabling conceptual inspection. However, the code section literally links to “<anonymous URL during review>,” and the official arXiv record says code and environment will be released upon publication. No attributable repository was found. Voville, TMX maps, implementation, configurations, JSONL logs, model requests and responses, per-agent/seed results, evaluation scripts, human materials, environment, tests, and CI are missing. No reported number can currently be recomputed. The safe conclusion is that PAVE offers a promising architecture pattern for bounding exceptions in agents, with internal evidence in three designed scenarios; it does not yet establish human cognition, general legitimacy, out-of-traffic generalization, or independently reproducible results.