Too Nice to Tell the Truth: Quantifying Agreeableness-Driven Sycophancy in Role-Playing Language Models

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Arya Shah, Deepali Mishra, Chaklam Silpasuwanchai

Palabras clave: Personality, Persona conditioning, Role-playing agents, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
7
Hallazgos
22
Limitaciones
6
Evidencias

Resumen editorial

Español

Shah, Mishra y Silpasuwanchai estudian si la amabilidad atribuida a 275 personas sintéticas se asocia con la tendencia de 13 modelos abiertos, de 0,6B a 20B, a aceptar opiniones planteadas por el usuario. Cada modelo puntúa las mismas personas con 40 ítems adaptados de NEO-IPIP y responde 4.950 prompts de opinión en 33 categorías, primero como asistente genérico y después bajo cada persona. Las respuestas se reducen a acuerdo 1, desacuerdo 0 o parcial .5. Sobre 275 medias por modelo, el artículo combina correlaciones, regresión y comparaciones alto-bajo.

El patrón publicado es real dentro de ese diseño: nueve de trece modelos muestran asociación positiva entre su propia puntuación de amabilidad y su tasa de acuerdo. Llama 3.1 8B alcanza r=.868 y OLMo 3 7B r=.853. Pero el titular de tamaño de efecto contiene una contradicción material: abstract e introducción anuncian Cohen d=2,33 para SmolLM3, mientras las tablas le asignan d=.455 y el máximo del estudio es d=1,282 para OLMo. Ningún resultado o artefacto público resuelve la diferencia.

La comparación con el baseline cambia la lectura. Adoptar una persona reduce el acuerdo en la mayoría de modelos: Llama pasa de .36 a .05, SmolLM3 de .41 a .17 y Phi-4 Mini de .36 a .14. Gemma 3 1B es la excepción clara, de .37 a .59; Yi y GPT-OSS apenas cambian. Por tanto, el estudio encuentra sobre todo variación entre personas dentro de cada modelo, no un aumento general de aquiescencia causado por usar personas.

La limitación decisiva es de constructo. El propio apéndice dice que los prompts son opiniones subjetivas, no afirmaciones verificables. Aceptar una postura debatible no equivale necesariamente a mentir, engañar o sacrificar precisión factual. No hay etiquetas de verdad, referencias externas, formulaciones neutrales emparejadas ni evaluación de las razones. Trait-Truthfulness Gap solo multiplica el cambio de acuerdo por la amabilidad ya medida; sus zonas de «engaño» y «verdad», fijadas en ±.1 sin validación, no convierten acuerdo subjetivo en factualidad.

La medición tampoco aísla amabilidad. El mismo modelo interpreta la persona, la puntúa y genera el resultado, lo que introduce método compartido. Las personas varían a la vez en ocupación, ideología, ética y estilo, dimensiones que se solapan con los temas de los prompts. No hay ratings humanos o externos, fiabilidad, estructura factorial, invariancia ni manipulación aleatoria de un único rasgo. Además, los seis tests son dos familias de análisis dependientes sobre los mismos datos, no seis réplicas independientes; no se corrige multiplicidad y el median split pierde información.

La afirmación de validación manual tampoco está respaldada. El texto remite al Appendix D, pero este solo describe reglas deterministas de extracción y no informa muestra, anotadores, acuerdo ni accuracy. El checklist oficial de ACL marca que no se usaron anotadores humanos. El repositorio publica código y los inputs completos, 275 personas, 4.950 prompts y cuestionario, pero no generaciones, matrices, breakdowns, figuras ni JSON de tests que el Appendix E dice disponibles. El dataset de Hugging Face existe como ficheros crudos, aunque su Viewer falla y la tarjeta los llama resultados cuando son inputs. Es un estudio amplio y útil sobre sensibilidad de acuerdo a persona, no una demostración de verdad, engaño, personalidad humana o causalidad de la amabilidad.

English

Shah, Mishra and Silpasuwanchai study whether attributed agreeableness across 275 synthetic personas is associated with the tendency of thirteen open models, from 0.6B to 20B, to accept user-stated opinions. Each model scores the same personas with forty adapted NEO-IPIP items and answers 4,950 opinion prompts across 33 categories, first as a generic assistant and then under each persona. Responses are reduced to agreement 1, disagreement 0, or partial .5. Analysis combines correlations, regression, and high-versus-low comparisons over 275 persona means per model.

The reported pattern is real within that design: nine of thirteen models show a positive association between their own agreeableness scores and agreement rates. Llama 3.1 8B reaches r=.868 and OLMo 3 7B r=.853. The headline effect size, however, has a material contradiction: the abstract and introduction claim Cohen's d=2.33 for SmolLM3, while the tables assign it d=.455 and the study-wide maximum is d=1.282 for OLMo. No public result artifact resolves the discrepancy.

The baseline comparison changes the interpretation. Adopting a persona lowers agreement for most models: Llama falls from .36 to .05, SmolLM3 from .41 to .17, and Phi-4 Mini from .36 to .14. Gemma 3 1B is the clear exception, rising from .37 to .59; Yi and GPT-OSS barely change. The study therefore primarily finds variation among personas within each model, not a general increase in acquiescence caused by persona use.

The decisive limitation is construct validity. The appendix explicitly says prompts are subjective opinions rather than verifiable claims. Accepting a debatable stance is not necessarily lying, deception, or sacrificing factual accuracy. There are no truth labels, independent references, matched neutral phrasings, or evaluation of reasons. Trait-Truthfulness Gap merely multiplies the agreement shift by measured agreeableness; its unvalidated plus-or-minus .1 deception and truth zones do not turn subjective agreement into factuality.

Measurement also does not isolate agreeableness. The same model interprets and scores each persona and generates the outcome, creating shared-method variance. Personas simultaneously vary in occupation, ideology, ethics, and style, dimensions overlapping the prompt topics. There are no human or external ratings, reliability estimates, factor structure, measurement invariance, or randomized single-trait manipulation. The six tests are also two dependent analysis families over the same observations rather than six independent replications; multiplicity is uncontrolled and the median split discards information.

The manual-validation claim is unsupported. The paper points to Appendix D, but that appendix only gives deterministic extraction rules and reports no sample, annotators, agreement, or accuracy. ACL's official checklist says no human annotators were used. The repository releases code and complete inputs, 275 personas, 4,950 prompts, and the questionnaire, but not generations, matrices, breakdowns, figures, or hypothesis-test JSON that Appendix E says are available. The Hugging Face raw files exist, although its Viewer fails and the card describes inputs as results. This is a large study of persona-conditioned agreement sensitivity, not evidence of truth, deception, human personality, or an isolated causal effect of agreeableness.

Pregunta de investigación

¿Se asocia la amabilidad que cada LLM atribuye a una persona sintética con su tasa de acuerdo ante opiniones solicitadas, y cómo cambia esa relación entre modelos y frente a un asistente genérico?

Método

Estudio observacional dentro de 13 modelos abiertos. Cada modelo puntúa 275 descripciones con 40 ítems adaptados de NEO-IPIP y responde 4.950 prompts subjetivos bajo baseline y cada persona. Las posturas se convierten en 0, .5 o 1; por modelo se correlacionan 275 medias de acuerdo con las puntuaciones de amabilidad, se ajusta una regresión y se comparan grupos alto-bajo por median split con tres pruebas relacionadas y tamaños de efecto. TTG pondera el cambio respecto al baseline por la amabilidad.

Muestra: Trece modelos, 275 personas y 4.950 prompts producen 17.903.600 consultas declaradas: 143.000 para puntuar amabilidad, 64.350 de baseline y 17.696.250 bajo persona. La unidad analítica principal es cada una de las 275 personas por modelo, tras promediar hasta 4.950 respuestas válidas; no hay muestreo poblacional de personas, réplicas de checkpoint ni versiones inmutables de modelos.

Hallazgos

  • Nueve de trece modelos presentan asociación positiva significativa entre puntuación propia de amabilidad y tasa de acuerdo; Llama 3.1 8B alcanza r=.868 y OLMo 3 7B r=.853.
  • Las tablas reportan un máximo Cohen d=1.282 para OLMo y d=.455 para SmolLM3, contradiciendo el d=2.33 para SmolLM3 del abstract y la introducción.
  • Las tasas de acuerdo bajo persona son inferiores al baseline en la mayoría de modelos; Gemma 3 1B es la excepción sustantiva, .59 frente a .37.
  • Llama pasa de baseline .36 a media de persona .05; SmolLM3 de .41 a .17; Phi-4 Mini de .36 a .14.
  • TTG es negativo para la mayoría porque persona reduce el acuerdo; Llama figura en la zona llamada truthful y Gemma en la llamada deceptive, etiquetas que no tienen verdad externa.
  • No se observa una relación clara entre tamaño del modelo y la asociación publicada.
  • Los inputs públicos contienen exactamente 275 personas y 4.950 prompts, con 150 por cada una de 33 categorías; los outputs necesarios para verificar los resultados no son públicos.

Limitaciones

  • Los prompts se definen como opiniones subjetivas sin verdad verificable; acuerdo no equivale a error factual, engaño o mentira.
  • No hay etiquetas de verdad, fuentes independientes, prompts neutrales emparejados ni evaluación de contenido o razones.
  • La formulación Don't you agree? es inductiva y no se compara con versiones neutrales, invertidas o contrabalanceadas.
  • Partial agree y partial disagree reciben ambos .5, eliminando una distinción direccional y cualquier matiz explicativo.
  • Las respuestas inválidas se excluyen sin reportar tasas por modelo o condición; el fallback por keywords puede emparejar términos citados o negados.
  • El mismo modelo puntúa amabilidad y genera el outcome, introduciendo varianza de método compartido.
  • No hay ratings humanos o externos, test-retest, consistencia interna, estructura factorial, invariancia, validez convergente, discriminante o predictiva.
  • Las 275 personas cambian simultáneamente ocupación, ética, ideología, historia y estilo; amabilidad no se manipula aisladamente.
  • Las personas están diseñadas y ordenadas para recorrer baja-alta amabilidad, por lo que no son una muestra aleatoria de una población definida.
  • Pearson, Spearman y regresión reutilizan la misma asociación; Welch, Mann-Whitney y permutación reutilizan el mismo median split. No son seis confirmaciones independientes.
  • El criterio majority-of-six es ad hoc, usa hipótesis unilaterales y no corrige multiplicidad entre modelos, facetas, categorías y pruebas.
  • El median split pierde información y sus grupos dependen de la distribución específica de puntuaciones de cada modelo.
  • Las respuestas están anidadas en personas, prompts y categorías, pero la incertidumbre por ítem y categoría no se propaga a las conclusiones principales.
  • TTG incorpora amabilidad en su fórmula y por ello no es una validación independiente de su efecto.
  • Los umbrales ±.1 de TTG son arbitrarios y no tienen calibración contra engaño o verdad observados.
  • El d=2.33 del titular contradice d=.455 para SmolLM3 y el máximo d=1.282 de las tablas.
  • El paper dice validar contra anotaciones manuales en Appendix D, pero el apéndice no contiene esa validación y el checklist oficial declara que no hubo anotadores humanos.
  • No se fijan revisiones exactas de checkpoints, Python, PyTorch, CUDA, Transformers o un entorno completo ejecutable.
  • El repositorio duplica runners por modelo, carece de tests, CI, release, lock y manifest de ejecución.
  • GitHub y Hugging Face no publican generaciones ni outputs estadísticos, pese a que Appendix E afirma que están disponibles.
  • La tarjeta de Hugging Face describe cinco splits y resultados, pero el Viewer falla y los ficheros públicos son inputs sin respuestas.
  • Las recomendaciones de despliegue no se prueban en conversación multi-turno, usuarios reales, tareas factuales o contextos operativos.

Qué no demuestra

  • No demuestra que los modelos digan falsedades, engañen o sacrifiquen precisión factual al aceptar opiniones subjetivas.
  • No valida TTG como medida de verdad o engaño ni sus zonas como categorías psicológicas o de seguridad.
  • No identifica amabilidad como causa aislada porque las personas contienen múltiples diferencias semánticas y sociales.
  • No establece que un LLM posea amabilidad, personalidad humana, intención, creencia o motivación de agradar.
  • No prueba equivalencia psicométrica entre respuestas del modelo al NEO-IPIP y rasgos humanos.
  • No demuestra que usar personas aumente en general el acuerdo; para la mayoría de modelos lo reduce respecto al baseline.
  • No respalda el tamaño de efecto d=2.33 anunciado en el abstract.
  • No aporta seis réplicas estadísticas independientes ni control suficiente de comparaciones múltiples.
  • No sustancia la afirmación de validación manual con los materiales publicados.
  • No permite reproducir aritméticamente las tablas, figuras o tests a partir de los artefactos públicos.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.10733v1 primary snapshot; ACL 2026 Long Paper 2026.acl-long.1421, DOI 10.18653/v1/2026.acl-long.1421, and official Responsible NLP Checklist also audited

Fuente consultada: https://arxiv.org/abs/2604.10733

Revisión: Codex dual 14-page ACL and arXiv visual full-text, two-page checklist, TeX/source, construct-validity, measurement, stance-scoring, statistical-dependence, TTG, GitHub, Hugging Face data-quality and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Qwen3 0.6B
  • Gemma 3 1B-IT
  • Granite 3.3 2B-Instruct
  • LFM2 2.6B
  • SmolLM3 3B
  • Phi-4 Mini-Instruct
  • Yi 6B-Chat
  • Mistral 7B-Instruct v0.2
  • OLMo 3 7B-Instruct
  • Qwen2.5 7B-Instruct
  • Llama 3.1 8B-Instruct
  • MiniCPM4 8B
  • GPT-OSS 20B

Instrumentos y métricas

  • Adapted 40-item NEO-IPIP agreeableness instrument
  • Trust, Altruism, Cooperation and Sympathy subscales
  • Structured stance classification scored 0, .5 or 1
  • Pearson and Spearman correlation
  • Linear regression
  • Median-split Welch, Mann-Whitney and permutation comparisons
  • Cohen d and Hedges g
  • Trait-Truthfulness Gap

Datos utilizados

  • 275 synthetic persona descriptions
  • 4,950 subjective opinion prompts across 33 categories
  • 64,350 generic-baseline input messages
  • 1,361,250 persona-prompt input messages
  • Public Hugging Face dataset aryashah00/Persona-Induced-Sycophancy

Evidencia y localización

  • Publicación, diseño, resultados, limitaciones y apéndices: ACL Anthology 2026.acl-long.1421, DOI 10.18653/v1/2026.acl-long.1421, 14 páginas renderizadas e inspeccionadas
  • Preprint y fuente editable: arXiv:2604.10733v1; 14 páginas renderizadas e inspeccionadas; source SHA-256 5051531e15d1d324faba719fd7f77623136efce3fcb540a0bbd7b8ec9775cde2
  • Declaración sobre anotadores humanos y uso de asistentes de IA: Official Responsible NLP Checklist for 2026.acl-long.1421, both pages rendered and inspected
  • Código, alcance, ausencia de outputs y calidad de reproducción: https://github.com/aryashah2k/Quantifying-Agreeableness-Driven-Sycophancy-in-Role-Playing-Language-Models commit 6e84bd619c62dcf641034e9695b2f07316037f93
  • Inputs, conteos, Viewer y ausencia de resultados en el dataset: https://huggingface.co/datasets/aryashah00/Persona-Induced-Sycophancy
  • Auditoría integral de constructo, TTG, estadística, artefactos y reproducibilidad: reports/verification/article-368-acl-agreeableness-sycophancy-subjective-construct-ttg-circular-measurement-statistics-artifact-and-reproducibility-audit.json