Synthetic Personality Review

Machine individuality: Separating genuine idiosyncrasy from response bias in large language models

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Valentin Kriegmair, Dirk U. Wulff

Palabras clave: Psychometrics, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
9
Hallazgos
17
Limitaciones
4
Evidencias

Resumen editorial

Español

Kriegmair y Wulff preguntan si distintos LLM muestran diferencias estables y específicas del estímulo que no se reduzcan al consenso semántico, a un desplazamiento global de escala o al ruido de muestreo. Diez modelos abiertos puntuaron 107.083 palabras en 14 normas psicolingüísticas, nominalmente cinco veces a temperatura 1, lo que produjo unos 74,9 millones de ratings válidos. Un modelo mixto separa efecto de palabra, offset de modelo, interacción modelo×palabra y residual. La interacción, denominada individualidad de máquina, representa en promedio 16,9% de la varianza y va de 4,8% a 34,0%; simulaciones aditivas sin interacción producen valores mucho menores. BLUPs de una norma predichos desde las otras 13 muestran mayor R² cuando predictores y objetivo pertenecen al mismo modelo, compatible con huellas léxicas coherentes. Este resultado es importante como evidencia de estructura estable en juicios de palabras, pero no equivale a personalidad: el modelo elimina un offset aditivo, no todos los estilos de respuesta no lineales, y no prueba persistencia contextual ni conducta posterior. La comparación de alineamiento humano también confunde temperatura y agregación, porque contrasta la media de cinco muestras estocásticas con una sola determinista. Los datos limpios son públicos, pero faltan BLUPs y resultados, el pipeline falla por una variable indefinida y no incluye el fichero humano requerido, impidiendo una reproducción limpia integral.

English

Kriegmair and Wulff ask whether different LLMs show stable, stimulus-specific differences that cannot be reduced to semantic consensus, a global scale offset or sampling noise. Ten open-weight models rated 107,083 words on 14 psycholinguistic norms, nominally five times at temperature 1, yielding about 74.9 million valid ratings. A mixed model separates word effect, model offset, model-by-word interaction and residual. The interaction, termed machine individuality, accounts for 16.9% of variance on average and ranges from 4.8% to 34.0%; additive simulations without an interaction yield much smaller values. Predicting one norm's BLUPs from the other 13 gives higher R-squared when predictors and target come from the same model, consistent with coherent lexical fingerprints. This is meaningful evidence of stable structure in word judgments, but it is not equivalent to personality: the model removes an additive offset, not every nonlinear response style, and it does not test contextual persistence or downstream behavior. The human-alignment comparison also confounds temperature and aggregation because it contrasts a mean of five stochastic samples with one deterministic response. Substantial clean data are public, but BLUPs and results are missing, the pipeline fails on an undefined variable and the required human file is absent, preventing clean end-to-end reproduction.

Pregunta de investigación

¿Existen diferencias estables y específicas de cada palabra entre LLM que excedan el consenso compartido, un offset direccional por modelo y el ruido estocástico, y forman esas diferencias huellas coherentes entre dominios semánticos?

Método

Diez LLM abiertos valoran un vocabulario común de 107.083 palabras en 14 escalas psicolingüísticas mediante prompts zero-shot numéricos. Se recogen una respuesta determinista y hasta cinco estocásticas por celda. Para cada norma, un modelo lineal mixto cruzado estima intercepto, efecto aleatorio de palabra, efecto de modelo, interacción palabra×modelo y residual. Cien simulaciones paramétricas por norma generan datos sin interacción. La coherencia se evalúa con Ridge y validación cruzada de cinco folds: los BLUPs de la norma reservada se predicen desde las otras 13 y se compara R² dentro del mismo modelo con predictores de otros modelos. El alineamiento humano usa correlaciones de Pearson con normas publicadas.

Muestra: Diez modelos, 107.083 palabras y 14 normas. El diseño objetivo contiene 1.499.162 celdas modelo-norma-palabra y hasta cinco repeticiones estocásticas por celda, aproximadamente 74,9 millones de observaciones válidas. Las normas humanas cubren subconjuntos desiguales, desde 751 palabras para moralidad hasta 37.056 para concreteness.

Hallazgos

  • La interacción modelo×palabra representa en promedio 16,9% de la varianza total, con 4,8% en valencia y 34,0% en asociación de género; el efecto compartido de palabra promedia 32,1%.
  • En cien simulaciones por norma sin interacción, la varianza espuria máxima queda por debajo de 0,033% y los 14 contrastes alcanzan el mínimo p posible con corrección, 1/101 ≈ 0,0099.
  • Los ratios de especificidad medios por modelo van de 1,74 a 3,43 para BLUPs de interacción, mayores que los ratios de ratings brutos, 1,16 a 1,49.
  • La predicción cruzada por palabras indica que las desviaciones de una norma contienen estructura compartida con otras normas dentro del mismo modelo.
  • Las correlaciones agregadas con normas humanas se sitúan entre 0,48 y 0,67, lo que muestra acuerdo parcial, no equivalencia con representación humana.
  • La media de cinco respuestas estocásticas mejora el r humano en 0,032 frente a una respuesta determinista en los diez modelos y las 14 normas, pero el contraste cambia simultáneamente temperatura y número de muestras.
  • El par completo de archivos Qwen auditado conserva casi todas las celdas: dos ratings deterministas y 174 repeticiones estocásticas faltan tras filtrado.
  • Los archivos limpios retienen intentos inválidos junto a reemplazos; en Qwen, attempt_type figura como zero_shot para todas las filas aunque existen backends de retry y temperaturas elevadas.
  • El resultado central describe huellas léxicas modelo-específicas bajo prompts y escalas fijos; el propio artículo deja la persistencia contextual y la predicción conductual como preguntas abiertas.

Limitaciones

  • La unidad independiente de generalización entre sistemas es un conjunto intencional de solo diez modelos, aunque el número de ratings sea enorme.
  • El efecto de modelo tiene diez niveles y cada familia, organización, arquitectura, plantilla, tokenizer, cuantización y configuración puede contribuir a la huella observada.
  • El LMM elimina un offset aditivo por modelo, pero no pendientes, compresión, uso de extremos ni transformaciones no lineales específicas del modelo; esos estilos pueden entrar en modelo×palabra.
  • Una palabra aislada no es una situación conductual; aplicar las 14 escalas a todo el vocabulario incluye términos raros, fragmentos, insultos y combinaciones de constructo poco naturales.
  • La simulación nula valida frente a un generador gaussiano aditivo ajustado, no frente a errores de escala, tokenización, adaptadores, retries o estilos de respuesta alternativos.
  • La especificidad reserva palabras, no modelos, familias o proveedores; no demuestra que la huella identifique o prediga un modelo futuro.
  • Los ratios de R² ocultan numeradores y denominadores; los BLUPs y outputs exactos no están publicados para comprobar estabilidad cuando el R² cruzado es pequeño.
  • El resumen humano promedia Fisher-z por norma con igual peso pese a tamaños de solapamiento muy distintos y a familias de normas relacionadas.
  • La supuesta disyuntiva reproducibilidad-alineamiento compara cinco muestras estocásticas promediadas con una sola determinista y no aísla temperatura de reducción de ruido.
  • El script de envío incluye Nomos-1 y el registro incluye también Llama 3.1 8B, pero ninguno aparece en datos o paper y no se documenta su exclusión.
  • El rango 20B-235B del método contradice Phi-4 de 14B; el SI también mezcla parámetros totales y activos al citar un mínimo de 9B.
  • Los modelos y tokenizers no fijan revisiones; el contenedor vLLM no fija digest, el orden se baraja sin semilla y no hay lockfile.
  • OSF publica 2,76 GB de CSV limpios, pero no BLUPs, modelos RDS, simulaciones, tablas, figura, outputs de alineamiento humano ni psychNorms.csv.
  • El comando documentado --test falla en el paso 0 porque usa REPO_ROOT sin definir; OSF tampoco se descarga ni coloca automáticamente en las rutas esperadas.
  • Los bloques paralelos convierten fallos de normas en mensajes y pueden continuar, y el validador audit_completeness no forma parte del pipeline antes de declarar éxito.
  • Los CSV conservan rutas de endpoint de la infraestructura de inferencia, metadatos innecesarios para la réplica que no fueron redactados.
  • El nodo OSF carece de descripción y licencia propia; GitHub declara CC BY 4.0, pero el alcance sobre el archivo de datos no se explicita.

Qué no demuestra

  • No demuestra personalidad, conciencia, agencia, identidad, yo persistente ni individualidad comparable a la humana.
  • No demuestra que la interacción modelo×palabra esté libre de todos los sesgos de respuesta, escalas o artefactos léxicos.
  • No establece que las huellas persistan en diálogos contextualizados, otros prompts, idiomas, versiones o actualizaciones de pesos.
  • No demuestra que las diferencias predigan decisiones, seguridad, persuasión, moralidad aplicada o comportamiento desplegado.
  • No identifica arquitectura, tamaño, organización o entrenamiento como causas de las diferencias entre los diez modelos.
  • No prueba que desviarse de normas humanas implique representaciones sui generis; corpus, tokenización, instrucciones y calibración también pueden explicarlo.
  • No establece una ventaja causal de muestreo estocástico sobre decodificación determinista al mantener constante el número de observaciones.
  • No ofrece una reproducción integral ejecutable desde un clon limpio con los artefactos públicos y el comando documentado.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.16755v1

Fuente consultada: https://arxiv.org/abs/2604.16755

Revisión: Codex 17-page visual full-text, TeX/SI, repository, OSF manifest, complete Qwen-file, construct, statistics, code and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Qwen3-32B
  • Qwen3-235B-A22B-Instruct-2507
  • Mistral-Small-24B-Instruct-2501
  • Gemma 3 27B IT
  • GPT-OSS 20B
  • GPT-OSS 120B
  • OLMo 3.1 32B Instruct
  • Falcon H1 34B Instruct
  • Granite 4.0 H Small
  • Phi-4

Instrumentos y métricas

  • 14 normas psicolingüísticas de psychNorms
  • Modelo lineal mixto cruzado
  • Bootstrap paramétrico
  • Ridge con validación cruzada
  • Correlación con normas humanas

Datos utilizados

  • psychNorms metabase
  • Vocabulario común de 107.083 palabras
  • OSF T9S3M: 20 CSV limpios comprimidos

Evidencia y localización

  • Diseño, resultados, modelo mixto, simulación, especificidad, correlación humana, límites y prompts: arXiv:2604.16755v1, 17 páginas renderizadas e inspeccionadas; TeX principal y SI completos
  • Generación, retries, LMM, Ridge, alineamiento, simulación, pipeline y licencia: valentinkm/MachineIndividuality commit 8f37d156c5a7c357437357e797cdb09740e92090
  • Inventario de 20 archivos y auditoría completa del par Qwen determinista/estocástico: OSF T9S3M manifest SHA-256 255fccb4b8ce5ca47c1fa45f37fddf7e40310341a8d91d7a237e524709fc095d
  • Auditoría de constructo, estadística, datos, código, seguridad y reproducibilidad: reports/verification/article-362-machine-individuality-construct-random-effects-data-code-and-reproducibility-audit.json