12 Angry AI Agents: Evaluating Multi-Agent LLM Decision-Making Through Cinematic Jury Deliberation

AutoGen SelectorGroupChat coordina doce jurados con expediente y personas del film. GPT-4o y Llama-4-Scout se cruzan con baseline, prompt open-minded y ausencia de voto inicial, tres repeticiones por celda, temperatura .9 y máximo 150 turnos con parada tras tres rondas sin cambios. Se registran votos, cascadas, turnos y orden de flips.

18 ejecuciones, N=3 por cada una de seis celdas. No hay jurado humano comparable; la trayectoria de una película funciona como referencia narrativa. 17 de 18 ejecuciones terminaron sin unanimidad. GPT-4o promedió 1.0, .7 y 1.0 cambios de voto por condición. Llama promedió 2.0, 3.3 y 6.0 cambios. Solo una ejecución de Llama sin voto inicial llegó a NOT_GUILTY.

Solo se prueban dos modelos y N=3. Una película no es ground truth de deliberación humana. El selector LLM es un confusor no controlado. No se conocen los detalles de RLHF necesarios para probar la hipótesis central. La temperatura .9 y el prompt de persona también afectan rigidez. No demuestra que RLHF cause rigidez. No establece que Llama delibere como humanos. No generaliza a otros casos, orquestadores o modelos.

AutoGen SelectorGroupChat coordinates twelve jurors with the film case and personas. GPT-4o and Llama-4-Scout are crossed with baseline, an open-minded prompt, and no initial vote, with three replications per cell, temperature .9, and a 150-turn maximum with stopping after three unchanged rounds. Votes, cascades, turns, and flip order are recorded.

18 runs, N=3 in each of six cells. There is no comparable human jury; one films trajectory serves as the narrative reference. 17 of 18 runs ended without unanimity. GPT-4o averaged 1.0, .7, and 1.0 vote changes by condition. Llama averaged 2.0, 3.3, and 6.0 changes. Only one Llama run without an initial vote reached NOT_GUILTY.

Only two models and N=3 are tested. A film is not ground truth for human deliberation. The LLM selector is an uncontrolled confound. RLHF details needed to test the central hypothesis are unavailable. Temperature .9 and persona prompting also affect rigidity. It does not demonstrate that RLHF causes rigidity. It does not establish that Llama deliberates like humans. It does not generalize to other cases, orchestrators, or models.