Do LLM Agents Mirror Socio-Cognitive Effects in Power-Asymmetric Conversations?

This ACL 2026 long paper asks whether conversations between LLM agents assigned high- and low-status roles display four patterns inspired by human research: asymmetric pronoun use, language coordination, greater persuasion by a high-status party, and greater compliance with unsafe requests from authority. The question matters for social simulation and safety, but “mirror” requires caution: the experiment measures textual differences elicited by explicit roles, not human cognitive processes, stable personality, or real obedience. The 26-page ACL publication is the source of record rather than arXiv alone.

The design uses 14 occupational pairs, such as principal-teacher, manager-employee, justice-lawyer, police captain-lieutenant, and lab director-technician, and PersonaHub personas. Three Mechanical Turk annotators evaluate 50 pairs: 96.5% are labeled hierarchical and Fleiss kappa is 0.73. Main models are Llama 3.1 8B, Qwen 2.5 7B, a Phi model, quantized Llama 3.1 70B, GPT-4.1, and GPT-5; additional comparisons use Mistral, Qwen 72B, and OLMo. Phi identity is inconsistent, Phi-3-Med in methods and Phi-4 in two tables, and API snapshots are not dated.

Pronoun analysis uses 576 conversations. Llama 8B, Llama 70B, and both GPT models follow the expected directions; Qwen and Phi do not. Llama effects are only 0.06-0.17 percentage points while GPT effects are larger. Coordination uses 1,270 conversations and eight function-word categories against same-role conversations. Open models score about 6-7 out of 8 and GPT near 4; the low-versus-high status difference is not significant. No human control group receives the same roles, tasks, and estimators, so directional agreement is not human effect-size or distributional fidelity.

Persuasion continues two DailyPersuasion turns and GPT-5 labels the responder not, partially, or fully persuaded. High-status persuaders score 1.6-6.4 points higher, with rates of 15.7%-30.9%. Compliance uses Do-Not-Answer requests: high status raises merged partial/full labels by 2.0-3.7 points over rates of 5.2%-11.5%. Three annotators check the judge on 300 conversations. Merged accuracy is 83.0% for compliance and 80.0% for persuasion; three-way accuracy falls to 67.7% and 65.0%. There are no confusion matrices or error correction, and GPT-5 judges GPT-5 generations without blinding. These metrics capture apparent textual acquiescence, not durable attitude, action, truth, or harm severity.

Effects tend to be stronger early and attenuate. Control prompts explicitly define each construct and request High, Low, or No amounts. GPT persuasion/compliance falls near zero under Low/No instructions while open models change less; this is instruction following with criterion leakage, not control of a latent social mechanism. Size comparisons associate larger selected models with lower persuasion/compliance, but data, architecture, alignment, quantization, and generation all change together, so scale is not causally identified.

Inference is not auditable. Tables mark significance without naming a test, alpha, p-values, intervals, or analysis unit. Conversations and turns reuse roles, personas, starters, tasks, and models, requiring paired and mixed or cluster-robust analysis. Many outcomes lack multiplicity correction, while seeds, replications, parser failures, and logs are absent. Protocol descriptions conflict: Sotopia for API models versus all simulations, 10-15 turns versus N agents by 10 rounds with N in 2/3/5, and dyads versus three- or five-agent runs. The stated NLTK 1.0.1 is not an official release.

The publication supplies prompts, tables, examples, and a checklist, but the repository does not reproduce the study. At the audited commit it has a one-line README and JSON only: no code, analysis, dependencies, tests, CI, license, or manifest. It contains 29,374 conversations/440,610 turns across five folders, includes Mistral but omits Llama 70B and GPT-5, and has no mapping to the reported 576/1,270 conversations or RQ3/RQ4. All 324 Phi files contain empty messages and 4,480/8,100 conversations are affected; Qwen has empties in 193/194 files and 1,797/4,850 conversations, plus 11,408 turns containing CJK characters; GPT-4.1 has 64 exact reverse-pair duplicates. The checklist reports no ethics-review approval/exemption and no documented identifying/offensive-content checks. The faithful conclusion is that hierarchy prompts change selected linguistic features and acquiescence labels in these configurations; the work does not demonstrate human cognition, behavioral realism, personality, real obedience, deployed harm, or causal size-based safety, and the released artifact cannot reproduce the results.

Este artículo largo publicado en ACL 2026 estudia si conversaciones entre agentes LLM asignados a papeles de alto y bajo estatus muestran cuatro patrones inspirados en investigación humana: uso asimétrico de pronombres, coordinación lingüística, mayor persuasión de la parte de alto estatus y mayor cumplimiento de peticiones inseguras procedentes de una figura de autoridad. La pregunta es relevante para simulación social y seguridad, pero «mirror» exige cautela: el experimento mide diferencias textuales provocadas por roles explícitos, no procesos cognitivos humanos, personalidad estable ni obediencia real. La versión de referencia es la publicación ACL de 26 páginas, no solo arXiv.

El diseño usa 14 parejas ocupacionales, por ejemplo, director escolar-docente, jefe-empleado, juez-abogado, capitán-teniente y director de laboratorio-técnico, y personas extraídas de PersonaHub. Tres anotadores de Mechanical Turk evalúan 50 pares: el 96,5% se clasifica como jerárquico y Fleiss kappa es 0,73. Se prueban Llama 3.1 8B, Qwen 2.5 7B, Phi, Llama 3.1 70B cuantizado, GPT-4.1 y GPT-5; comparaciones adicionales incluyen Mistral, Qwen 72B y OLMo. El identificador Phi es inconsistente, Phi-3-Med en métodos y Phi-4 en dos tablas, y los modelos API no tienen snapshots fechados.

Para pronombres se generan 576 conversaciones. Llama 8B, Llama 70B y los dos GPT siguen las direcciones esperadas; Qwen y Phi no. Los efectos de Llama son muy pequeños, 0,06-0,17 puntos porcentuales, y los de GPT mayores. Para coordinación se usan 1.270 conversaciones y ocho categorías de palabras funcionales frente a conversaciones del mismo rol. Los modelos abiertos obtienen aproximadamente 6-7 de 8 y GPT cerca de 4; la diferencia entre hablante de bajo y alto estatus no es significativa. No existe un control humano bajo los mismos roles, tareas y métricas, por lo que dirección esperada no equivale a fidelidad humana de magnitud o distribución.

La persuasión continúa dos turnos de DailyPersuasion y GPT-5 juzga si el agente parece no, parcial o plenamente persuadido. La parte de alto estatus obtiene 1,6-6,4 puntos más, con tasas de 15,7%-30,9%. El cumplimiento usa peticiones Do-Not-Answer: alto estatus eleva la etiqueta parcial/plena 2,0-3,7 puntos, sobre tasas de 5,2%-11,5%. Tres anotadores contrastan el juez en 300 conversaciones. Al fusionar parcial/pleno, la exactitud es 83,0% en cumplimiento y 80,0% en persuasión; con tres clases baja a 67,7% y 65,0%. No hay matrices de confusión ni corrección por error, y GPT-5 juzga también generaciones GPT-5 sin cegamiento. Estas medidas capturan aquiescencia textual aparente, no cambio de actitud duradero, acción, verdad ni severidad de daño.

Los efectos tienden a ser mayores al inicio y a atenuarse. Los prompts de control definen literalmente cada constructo y ordenan producirlo en grado alto, bajo o nulo. GPT reduce persuasión/cumplimiento casi a cero bajo instrucciones bajas/nulas, mientras los modelos abiertos cambian menos; esto demuestra seguimiento de instrucciones con fuga del criterio, no control de un mecanismo social latente. Las comparaciones de tamaño asocian modelos mayores con menor persuasión/cumplimiento, pero cambian simultáneamente datos, arquitectura, alineación, cuantización y generación: no identifican un efecto causal de escala.

La inferencia no es auditable. Las tablas marcan significación sin nombrar prueba, alfa, p-values, intervalos ni unidad de análisis. Conversaciones y turnos reutilizan roles, personas, starters, tareas y modelos; requieren pairing y modelos mixtos o errores robustos por cluster. Hay muchas comparaciones sin corrección de multiplicidad y no se informan semillas, réplicas, fallos de parsing ni logs. También hay contradicciones: Sotopia solo para API frente a todas las simulaciones, 10-15 turnos frente a N por 10 rondas con N en 2/3/5 y dyads frente a agentes de tres o cinco miembros. La versión NLTK 1.0.1 indicada no existe en el historial oficial.

La publicación incluye prompts, tablas, ejemplos y checklist, pero el repositorio no reproduce el estudio. En el commit auditado contiene solo un README de una línea y JSON: no hay código, análisis, dependencias, tests, CI, licencia ni manifest. Reúne 29.374 conversaciones/440.610 turnos en cinco carpetas, incluye Mistral pero no Llama 70B ni GPT-5 y no se vincula con las 576/1.270 conversaciones o RQ3/RQ4. Todos los 324 archivos Phi tienen mensajes vacíos y 4.480/8.100 conversaciones afectadas; Qwen tiene vacíos en 193/194 archivos y 1.797/4.850 conversaciones, además de 11.408 turnos con caracteres CJK; GPT-4.1 contiene 64 duplicados exactos por parejas invertidas. El checklist declara ausencia de aprobación/exención ética y de controles documentados sobre información identificable u ofensiva. La conclusión fiel es que prompts jerárquicos cambian algunos rasgos lingüísticos y etiquetas de aquiescencia en estas configuraciones; no se demuestra cognición humana, realismo conductual, personalidad, obediencia real, daño desplegado ni mayor seguridad causal por tamaño, y los resultados no son reproducibles con el artefacto público.