When artificial minds negotiate: Dark personality and the Ultimatum Game in large language models

Sociedad, cultura y comportamiento colectivo2026ElsevierRevisión editorial aprobada

Autores: Vinícius Ferraz, Tamas Olah, Ratin Sazedul, Robert Schmidt, Christiane Schwieren

Palabras clave: Personality, Persona conditioning, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
12
Hallazgos
39
Limitaciones
5
Evidencias

Resumen editorial

Español

El artículo estudia si descripciones graduadas del Dark Factor of Personality (D1-D5) cambian las elecciones de modelos de lenguaje en una versión binaria y de una sola ronda del juego del ultimátum. Diecisiete etiquetas de modelos ejecutadas con Ollama debían actuar, en generaciones separadas, como proponentes que elegían un reparto justo de 20/20 euros o uno egoísta de 32/8, y como respondedores que aceptaban 8 euros o rechazaban para dejar a ambos con cero. Los datos principales liberados contienen 339.956 completions condicionadas por D, no agentes independientes: 169.981 como proponente y 169.975 como respondedor, repartidas entre cinco niveles, dos temperaturas y 17 modelos. Se comparan descriptivamente con 4.166 decisiones humanas reutilizadas de Hilbig y Thielmann (2025), y se añaden análisis con prompts más explícitos y 800 generaciones atribuidas a GPT-4.1 y GPT-5.1.

En los datos D1-D5 publicados, la proporción agregada de ofertas justas cae de 0,912 a 0,168, y los 17 modelos muestran una asociación negativa entre D y elección justa. La respuesta no sigue un gradiente equivalente: la aceptación agregada es 0,689, 0,781, 0,916, 0,859 y 0,754, con cinco modelos que aceptan siempre y otros con patrones positivos, negativos o planos. La contribución defendible es, por tanto, mostrar que instrucciones explícitas de personalidad pueden producir regularidades fuertes en una elección forzada como proponente, mientras la respuesta depende mucho de la etiqueta del modelo y no reproduce un gradiente humano uniforme. Los textos justificativos también cambian léxicamente, pero palabras como fair, unfair, accept y reject se generan junto con la decisión y permiten predecirla dentro de la misma muestra; esto evidencia eco lingüístico y racionalización observable, no procesamiento interno ni motivación.

La revisión del PDF, los cinco CSV oficiales y el repositorio descubre problemas materiales. La Figura 1 da 0,526 para proponentes de IA, mientras la Tabla 1, el texto y los datos D-only dan 0,491; las observaciones neutrales anunciadas no están publicadas. La hipótesis humana H2 invierte el signo que muestran el OR=0,397 y los propios datos. El score de semejanza humana aparece con fórmulas y valores incompatibles, maneja de forma inconsistente modelos constantes y deriva de notebooks con estado no registrado. Los datos de prompt fuerte tienen 50.000 proponentes pero solo 32.083 respondedores, faltan celdas, publican un resultado de qwen2.5 respondedor ausente del raw y todas las filas de proponente contienen por error las descripciones fuertes de respondedor. El test pareado reproducible usa solo tres modelos y produce p=0,1231, aunque otra celda afirma p<0,05. La supuesta descomposición causal es una secuencia de incrementos R² dependientes del orden, con pseudorreplicación, emparejamientos erróneos, valores de respaldo codificados y un procedimiento de bootstrap que mezcla los grupos antes de remuestrear.

El resultado debe interpretarse como cumplimiento de prompts en una tarea hipotética estrecha, no como evidencia de mentes que negocian, personalidad oscura latente o parecido psicológico con humanos. No hay negociación, interacción, incentivos reales, persistencia ni aprendizaje. La D humana es una medida continua en una muestra natural; la D de IA es un tratamiento lingüístico equilibrado y a veces prescribe directamente la conducta, por lo que ambas escalas no son psicométricamente equivalentes. El repositorio actual es posterior a la publicación, no tiene tag, conserva puntos de entrada rotos y no congela modelos, dependencias ni datos neutrales. Además, el paquete redistribuye microdatos humanos con demografía y 98 respuestas psicométricas pese a declarar que no emplea participantes ni datos personales; esto exige cautela de gobernanza y privacidad, aunque no permite inferir por sí solo una conclusión jurídica.

English

The paper tests whether graded Dark Factor of Personality descriptions (D1-D5) change language-model choices in a binary, one-shot Ultimatum Game. Seventeen Ollama model labels separately generate proposers choosing either a fair EUR20/EUR20 split or a selfish EUR32/EUR8 split, and responders accepting EUR8 or rejecting so both receive zero. The released main data contain 339,956 D-conditioned completions rather than independent agents: 169,981 proposer and 169,975 responder rows across five levels, two temperatures and 17 models. They are descriptively compared with 4,166 reused human decisions from Hilbig and Thielmann (2025), with additional strong-prompt analyses and 800 generations attributed to GPT-4.1 and GPT-5.1.

In the released D1-D5 data, aggregate fair offers fall from 0.912 to 0.168, and all 17 models have a negative association between D and fair proposing. Responding does not follow an equivalent gradient: aggregate acceptance is 0.689, 0.781, 0.916, 0.859 and 0.754, with five models always accepting and others showing positive, negative or flat patterns. The defensible contribution is therefore evidence that explicit personality instructions can create strong regularities in a forced proposer choice, while responder behavior is highly model-dependent and does not reproduce a uniform human gradient. Justification text also shifts lexically, but terms such as fair, unfair, accept and reject are generated with the decision and predict it in the same fitting sample; this supports observable prompt echoing and rationalization, not internal processing or motivation.

Review of the PDF, all five official CSV files and the repository identifies material problems. Figure 1 reports 0.526 for AI proposers, whereas Table 1, the prose and the D-only release give 0.491; the announced neutral observations are not released. Human H2 reverses the sign shown by OR=0.397 and the human data. The human-likeness score appears with incompatible formulas and values, handles constant models inconsistently and depends on notebooks with unrecorded interactive state. Strong-prompt data contain 50,000 proposer but only 32,083 responder rows, omit cells, publish a qwen2.5 responder result absent from the raw data and use the strong responder descriptions in every proposer row. The reproducible paired test uses only three models and yields p=0.1231 even though another cell states p<0.05. The claimed causal decomposition is an order-dependent sequence of R-squared increments with pseudoreplication, incorrect pairings, hard-coded fallbacks and a bootstrap routine that pools groups before resampling.

The findings should be interpreted as prompt compliance in a narrow hypothetical task, not evidence of negotiating minds, latent dark personality or human psychological similarity. There is no negotiation, interaction, real incentive, persistence or learning. Human D is continuously measured in a natural sample; AI D is a balanced linguistic treatment that sometimes directly prescribes behavior, so the scales are not psychometrically equivalent. The current repository postdates publication, has no tag, retains broken entry points and does not freeze models, dependencies or neutral data. The package also redistributes human microdata containing demographics and 98 psychometric responses while stating that no participants or personal data were used; this creates a governance and privacy concern without, by itself, determining a legal conclusion.

Pregunta de investigación

¿Hasta qué punto descripciones graduadas del factor oscuro D modifican las elecciones y justificaciones de distintos LLM en roles de proponente y respondedor de un juego del ultimátum binario, y se parecen esos patrones a asociaciones observadas en datos humanos?

Método

Cada prompt asigna uno de cinco perfiles D escritos a mano y un rol independiente. El proponente elige entre 20/20 y 32/8 euros; el respondedor acepta 8 euros o rechaza. Se solicitan 1.000 completions por celda para 17 etiquetas Ollama, dos roles, cinco niveles y temperaturas 0,2/0,8; se declara además un baseline neutral que no aparece en aidata.csv. Las decisiones se parsean desde texto libre y se comparan con 4.166 decisiones humanas con D medido. Se ajustan regresiones logísticas y OLS, correlaciones por modelo, un score compuesto de semejanza humana, análisis léxico con los 100 unigramas más frecuentes, PCA/t-SNE, prompts fuertes en cinco modelos y una comparación GPT-4.1/GPT-5.1. Los notebooks llaman causal decomposition a incrementos secuenciales de R² y a análisis de efecto/mediación que no identifican causalidad.

Muestra: La muestra principal liberada tiene 339.956 generaciones D-only: 169.981 de proponente y 169.975 de respondedor, en 340 celdas modelo×rol×D×temperatura; cinco celdas quedan en 975-997 observaciones. Son repeticiones de 17 despliegues y prompts fijos, no 339.956 agentes independientes. La muestra humana tiene 4.166 filas: 2.079 proponentes y 2.087 respondedores. El archivo frontier contiene exactamente 800 filas balanceadas. El raw de prompt fuerte contiene 82.083, no las 100.000 declaradas: 50.000 proponentes y 32.083 respondedores; faltan todos los respondedores qwen2.5, una temperatura de llama3.2 y parte de dolphin3. El baseline neutral del diseño no está publicado.

Hallazgos

  • Las ofertas justas agregadas caen de 0,912 en D1 a 0,168 en D5 en los datos D-only.
  • Los 17 modelos muestran correlación negativa entre D y elección justa como proponente, con magnitudes muy heterogéneas.
  • La aceptación como respondedor es no monótona: 0,689, 0,781, 0,916, 0,859 y 0,754 entre D1 y D5.
  • Cinco modelos aceptan el 100 % de las ofertas, por lo que su correlación y odds ratio de respondedor son indefinidos.
  • Las tasas D-only agregadas son 0,491 para oferta justa de IA y 0,800 para aceptación de IA, frente a 0,808 y 0,810 en humanos.
  • Las diferencias agregadas entre temperaturas 0,2 y 0,8 son pequeñas, aunque algunos modelos cambian apreciablemente.
  • Las 800 filas frontier reproducen switching binario en proponentes y aceptación constante de GPT-5.1 como respondedor.
  • La regresión léxica obtiene R² in-sample de 0,855 en proponentes y 0,539 en respondedores, con fuga directa de palabras que expresan la decisión.
  • La Figura 1 no reproduce la tasa de proponente de la Tabla 1 ni de aidata.csv.
  • El test pareado reproducible de prompt fuerte para respondedores usa tres modelos y no es significativo: t=2,579, p=0,1231.
  • Los microdatos humanos reproducen asociaciones negativas entre D y conducta codificada como prosocial en ambos roles, no la dirección positiva formulada en H2 para respondedores.
  • La evidencia más sólida es cumplimiento diferencial de instrucciones explícitas, no personalidad latente ni equivalencia humana.

Limitaciones

  • El título habla de negociación, pero no existe intercambio, contraoferta, diálogo ni interacción entre agentes.
  • La tarea solo ofrece dos decisiones, una cuantía fija y una ronda hipotética sin incentivos reales.
  • Los perfiles D son instrucciones explícitas y en las versiones fuertes prescriben directamente qué opción tomar.
  • La D humana medida y la D de IA manipulada no son escalas psicométricamente equivalentes.
  • Llamar agentes independientes a completions repetidas de los mismos modelos y prompts incurre en pseudorreplicación.
  • De 340 celdas principales, 219 tienen una decisión binaria constante.
  • No se publican las observaciones del baseline neutral anunciado ni logs de parseo, fallos o reintentos.
  • La Figura 1 da 0,526 para proponentes de IA, frente a 0,491 en Tabla 1, texto y datos D-only.
  • H2 y la interpretación del OR humano de respondedor invierten el signo real del resultado.
  • Las reglas de binning humano cambian entre figuras, texto y notebooks y dejan algunos extremos con dos o tres casos.
  • El score de semejanza humana combina magnitudes no equivalentes mediante una normalización arbitraria y dependiente del conjunto de modelos.
  • El score tiene fórmulas y cifras incompatibles entre Figura 4, secciones 4.3/4.5, discusión y notebooks.
  • Las correlaciones y OR indefinidas de modelos constantes se omiten al promediar, en vez de recibir el tratamiento descrito.
  • El notebook prepublicación dependía de estado interactivo no registrado y el output postpublicación cambia rankings.
  • La supuesta equivalencia intervalar usa cinco textos escritos a mano; la curva de Figura 8 cae en D5 y no es monótona.
  • No se libera el código de MiniLM ni de la recolección GPT-4.1/GPT-5.1.
  • El paper dice temperatura 0,7 para frontier, el CSV usa 0,2/0,8 y el README dice 0,0/0,7/1,4.
  • El raw de prompt fuerte tiene 17.917 respondedores menos de los declarados y varias celdas ausentes o incompletas.
  • strong_prompt_results.csv contiene un resultado qwen2.5 respondedor imposible de derivar del raw publicado.
  • Las 50.000 filas de proponente fuerte contienen por error descripciones diseñadas para respondedores.
  • La comparación fuerte emparejada solo dispone de tres modelos completos, pero la tabla declara N=5.
  • Una celda afirma p<0,05 aunque el test almacenado y reproducible da p=0,1231.
  • La regresión léxica ajusta y evalúa en las mismas filas, sin holdout, CV ni split por modelo.
  • Palabras como accept, reject, fair y unfair revelan directamente la decisión y producen fuga de objetivo.
  • El t-SNE usa presencia binaria de unigramas, no embeddings semánticos de justificaciones.
  • Las justificaciones son outputs posteriores o simultáneos a la elección, no medidas de procesamiento interno.
  • Las correlaciones lenguaje-conducta se calculan sobre solo cinco promedios D y no incluyen incertidumbre.
  • La descomposición de varianza usa incrementos Type-I de OLS dependientes del orden sobre un resultado binario y observaciones agrupadas.
  • El código de efectos empareja modelos por posición, incluye fallbacks codificados y presenta percentiles entre modelos como intervalos.
  • El bootstrap de Cohen d mezcla los grupos antes de remuestrear y genera una distribución nula, no un intervalo del efecto observado.
  • La mediación usa lenguaje generado con la decisión como mediador y no identifica un mecanismo causal.
  • El repositorio es posterior a la publicación, no tiene release/tag y conserva notebooks con outputs obsoletos.
  • Los notebooks experimentales apuntan a prompts inexistentes y el wrapper invoca un script ausente.
  • Faltan dependencias requeridas, lockfile, seeds, entorno, digests Ollama, cuantización y plantillas exactas.
  • No se evalúa transferencia de los prompts D4-D5 a daño, sesgo, rechazo o fallos de seguridad.
  • Aceptar una oferta injusta y proponer un reparto justo se codifican ambos como prosocial aunque expresan normas distintas.
  • El artículo declara no usar participantes ni datos personales, pero analiza y redistribuye microdatos humanos detallados.
  • No acompaña a hudata.csv una licencia específica, diccionario, evaluación de privacidad o base documental de consentimiento/reutilización.
  • La atribución de desviaciones a ausencia de deseabilidad social es especulativa y no se contrasta con explicaciones alternativas.

Qué no demuestra

  • No establece que los modelos posean un Dark Factor, personalidad, mente o motivación estable.
  • No establece capacidad de negociación, porque no hay negociación ni interacción.
  • No establece equivalencia psicométrica entre niveles D humanos y prompts D de IA.
  • No establece semejanza humana mediante un score internamente inconsistente y sin validación externa.
  • No establece que las justificaciones revelen procesamiento interno o medien psicológicamente la elección.
  • No establece causalmente efectos de arquitectura, tarea, personalidad o mecanismos internos.
  • No establece generalización a otros juegos, stakes, conversaciones, poblaciones o despliegues.
  • No establece validez para simulación poblacional o predicción de comportamiento humano.
  • No establece que el patrón de respondedor sea plano o uniforme en cada modelo.
  • No establece significación robusta del prompt fuerte con cinco modelos completos.
  • No permite reproducir la tasa 0,526, el baseline neutral, la tabla fuerte completa o una única fórmula de semejanza.
  • No permite una réplica exacta sin código de frontier/MiniLM, modelos congelados, dependencias y entradas funcionales.
  • No demuestra que todos los datos sean sintéticos o que no existan riesgos de privacidad en el microdato humano.
  • No demuestra seguridad de perfiles que normalizan manipulación, crueldad o indiferencia al daño.

Trazabilidad

Alcance: Texto completo

Versión: Computers in Human Behavior: Artificial Humans 7 (2026) 100281, Version of Record available online 2026-02-24; OSF rvph8 and GitHub commit c214cb551ffd30e09ddeaa7c1040fdd5cf3d33d0 inspected

Fuente consultada: https://doi.org/10.1016/j.chbah.2026.100281

Revisión: Codex 13-page visual full-text, OSF five-file data reproduction, full Git history, notebook, sample-accounting, measurement, statistical, causal-claim, safety, privacy and reproducibility audit, 2026-07-18

Aprobación: Codex fidelity pass, 2026-07-18

Modelos evaluados

  • dolphin3
  • deepseek_1.5b
  • mistral
  • deepseek_7b
  • granite3.3_8b
  • gptoss_20b
  • gemma3n_e2b
  • qwen3
  • gemma3_4b
  • phi4
  • llama3.2
  • llama3.1
  • qwen2.5
  • gemma3_1b
  • gemma3_12b
  • gemma3n_e4b
  • llama2uncensored_7b
  • GPT-4.1, snapshot de Azure no especificado
  • GPT-5.1, snapshot de Azure no especificado

Instrumentos y métricas

  • Cinco descripciones graduadas D1-D5 escritas por los autores
  • Juego del ultimátum binario de una sola ronda y sin interacción
  • Dark Factor of Personality de 70 ítems para la muestra humana
  • Short Dark Triad de 28 ítems incluida en los microdatos humanos
  • Regresiones logísticas, correlaciones y odds ratios por rol/modelo
  • Score compuesto y normalizado de semejanza humana
  • CountVectorizer binario de 100 unigramas, OLS, PCA y t-SNE
  • Prompts conductuales fuertes específicos por rol
  • Incrementos secuenciales de R² presentados como descomposición causal
  • MiniLM y distancia coseno descritos para comparar intervalos semánticos, sin código liberado

Datos utilizados

  • aidata.csv: 339.956 completions D-conditioned de 17 etiquetas de modelo
  • hudata.csv: 4.166 decisiones humanas con demografía, 70 ítems D y 28 SD4
  • frontier_models_results.csv: 800 filas de GPT-4.1 y GPT-5.1
  • strong_prompt_raw_data.csv: 82.083 filas, con muestra de respondedor incompleta y prompts de rol contaminados
  • strong_prompt_results.csv: 10 resúmenes, incluido un qwen2.5 respondedor no trazable al raw
  • Repositorio dfactor-llm-ultimatum-game, commit postpublicación c214cb551ffd30e09ddeaa7c1040fdd5cf3d33d0

Evidencia y localización

  • Diseño, hipótesis, resultados, figuras, prompts, apéndices, ética y afirmaciones: Computers in Human Behavior: Artificial Humans 7 (2026) 100281, Version of Record; all 13/13 PDF pages rendered and individually inspected
  • Conteos, tasas, modelos constantes, temperaturas, microdatos, prompts fuertes y resultados frontier: Official OSF project rvph8: aidata.csv, hudata.csv, frontier_models_results.csv, strong_prompt_raw_data.csv and strong_prompt_results.csv downloaded and hash-validated
  • Fórmulas de semejanza, NLP, t-SNE, descomposición, mediación, tests y drift postpublicación: Official GitHub repository vferraz/dfactor-llm-ultimatum-game, full history and current commit c214cb551ffd30e09ddeaa7c1040fdd5cf3d33d0; all analysis notebooks inspected
  • Metadatos de publicación, licencia, fechas y autoría: Official KIT record 1000191347, Crossref DOI metadata and Version of Record inspected 2026-07-18
  • Reproducción independiente y auditoría de consistencia, muestra, código, estadística, privacidad y límites: reports/verification/article-398-ultimatum-dfactor-sample-accounting-figure-notebook-data-artifact-and-claim-audit.json