HumanLLM: Benchmarking and Improving LLM Anthropomorphism via Human Cognitive Patterns

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Xintao Wang, Jian Yang, Weiyuan Li, Rui Xie, Jen-tse Huang, Jun Gao, Shuai Huang, Yueping Kang, Yuanli Gou, Hongwei Feng, Yanghua Xiao

Palabras clave: Persona conditioning, Role-playing agents, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

11
Autores
10
Hallazgos
22
Limitaciones
5
Evidencias

Resumen editorial

Español

HumanLLM construye un corpus sintético y dos modelos afinados para representar combinaciones de patrones psicológicos en conversaciones de role-play. La taxonomía reúne 100 marcadores unipolares Big Five de Goldberg y 144 patrones sociocognitivos retenidos de 232 candidatos. Para cada patrón, Gemini Deep Search recupera alrededor de 50 trabajos, se filtran manualmente las referencias y se intenta obtener el texto completo, se conserva el abstract cuando no está disponible; Gemini 2.5 Pro sintetiza definición, mecanismos y manifestaciones. Gemini 2.5 Pro y Claude Sonnet 4.5 producen 11.359 escenarios con dos a cinco patrones, dos a seis personajes y conversaciones que deberían tener 12-20 turnos. Los 30.543 ejemplos SFT derivados se mezclan con 30.543 OpenThoughts y 15.272 CoSER, y se afinan Qwen3-8B y Qwen3-32B durante dos épocas.

La evaluación usa dos rúbricas generadas desde el propio diseño: Individual Pattern Expression, con 12-15 indicadores por patrón, y Multi-Pattern Dynamics, con 2-6 ítems específicos del escenario. GPT-5-mini califica cada ítem como -1, 0 o +1 en tres ejecuciones. HumanLLM-8B obtiene 25,7% IPE y 70,3% MPD frente a 18,6% y 54,4% de Qwen3-8B; supera a Qwen3-32B en MPD, 70,3% frente a 65,8%, pero no en IPE, 25,7% frente a 26,0%. HumanLLM-32B llega a 32,8% y 73,6%, mientras Gemini 3 Pro encabeza la tabla con 41,3% y 85,1%. En LifeChoice y CroSS-MR las mejoras sobre Qwen3 del mismo tamaño son pequeñas y no se acompañan de intervalos ni tests.

La validación humana es limitada. Tres estudiantes de posgrado en psicología valoran solo 30 de los 244 patrones: media global 3,42 y alfa=.67; fidelidad a fuentes 3,50 y alfa=.73; cobertura de manifestaciones 3,20 y alfa=.58. En 100 escenarios, humanos y GPT-5-mini correlacionan r=.90 en IPE y r=.88 en MPD, pero difieren mucho más en antropomorfismo y fidelidad de personaje. Esas correlaciones prueban acuerdo al aplicar checklists creados para conversaciones sintéticas, no correspondencia con cognición o conducta humana. Definiciones, escenarios, diálogos y rúbricas proceden de la misma base sintética, de modo que el benchmark premia expresar sus propios objetivos. La ablation tampoco incluye HumanLLM solo, semillas múltiples ni inferencia estadística, por lo que no aísla sinergia, anclaje o transferencia negativa.

La auditoría de los artefactos confirma los 11.359 escenarios y los objetos Git LFS, pero contradice la afirmación de que datos, código y pesos están todos publicados. El repositorio contiene scripts de construcción, no pesos de HumanLLM, código de entrenamiento/evaluación/inferencia, tests, CI o licencia. Los 244 registros de patrones no incluyen fuentes; sympathetic carece de manifestación; Jealousy y jealousy colisionan y dejan jealous sin checklist exacto en 252 escenarios; las conversaciones alternan entre listas y strings y 11.507 muestras ShareGPT empiezan con un turno humano vacío. La contribución defendible es un benchmark sintético amplio que mejora la expresión de sus patrones bajo sus propias rúbricas. No demuestra antropomorfismo auténtico, mecanismos cognitivos causales, validez frente a conducta humana ni una release de modelos plenamente reproducible.

English

HumanLLM builds a synthetic corpus and two fine-tuned models for expressing combinations of psychological patterns in role-play conversations. Its taxonomy combines 100 unipolar Goldberg Big Five markers with 144 social-cognitive patterns retained from 232 candidates. For each pattern, Gemini Deep Search retrieves roughly 50 papers, references are manually filtered, and full text is sought, an abstract is retained when full text is unavailable, before Gemini 2.5 Pro synthesizes definitions, mechanisms, and manifestations. Gemini 2.5 Pro and Claude Sonnet 4.5 generate 11,359 scenarios with two to five patterns, two to six characters, and conversations intended to contain 12-20 turns. The resulting 30,543 SFT examples are mixed with 30,543 OpenThoughts and 15,272 CoSER samples, and Qwen3-8B and Qwen3-32B are fine-tuned for two epochs.

Evaluation uses two rubrics generated from the same design: Individual Pattern Expression, with 12-15 indicators per pattern, and Multi-Pattern Dynamics, with 2-6 scenario-specific items. GPT-5-mini scores each item as -1, 0, or +1 in three runs. HumanLLM-8B reaches 25.7% IPE and 70.3% MPD versus Qwen3-8B at 18.6% and 54.4%; it exceeds Qwen3-32B on MPD, 70.3% versus 65.8%, but not IPE, 25.7% versus 26.0%. HumanLLM-32B reaches 32.8% and 73.6%, while Gemini 3 Pro tops the table at 41.3% and 85.1%. Gains over same-size Qwen3 models on LifeChoice and CroSS-MR are modest and have no intervals or significance tests.

Human validation is limited. Three graduate psychology annotators rate only 30 of 244 patterns: overall mean 3.42 and alpha=.67; source faithfulness 3.50 and alpha=.73; manifestation coverage 3.20 and alpha=.58. Across 100 scenarios, humans and GPT-5-mini correlate at r=.90 for IPE and r=.88 for MPD, but differ much more on anthropomorphism and character fidelity. These correlations show agreement when applying purpose-built checklists to synthetic conversations, not correspondence with human cognition or behavior. Definitions, scenarios, dialogues, and rubrics share the same synthetic foundation, so the benchmark rewards expression of its own targets. The ablation also lacks a HumanLLM-only condition, multiple seeds, and statistical inference, preventing causal isolation of synergy, anchoring, or negative transfer.

Artifact inspection confirms the 11,359 scenarios and real Git LFS objects but contradicts the claim that all data, code, and weights are public. The repository contains construction scripts but no HumanLLM weights, training/evaluation/inference code, tests, CI, or license. The 244 pattern records contain no sources; sympathetic has no manifestation; Jealousy and jealousy collide, leaving jealous without an exact checklist in 252 scenarios; conversations alternate between arrays and strings; and 11,507 ShareGPT samples start with an empty human turn. The defensible contribution is a broad synthetic benchmark that improves expression of its patterns under its own rubrics. It does not demonstrate authentic anthropomorphism, causal cognitive mechanisms, validity against human behavior, or a fully reproducible model release.

Pregunta de investigación

¿Puede una colección de patrones psicológicos sintetizados desde literatura, combinada en conversaciones multi-patrón y usada para SFT, mejorar la expresión de esos patrones y sus interacciones en LLM frente a modelos base y baselines mayores?

Método

Pipeline íntegramente sintético: 244 patrones derivados de unos 12.000 trabajos; síntesis con Gemini 2.5 Pro; generación de 11.359 escenarios y conversaciones con Gemini 2.5 Pro y Claude Sonnet 4.5; mezcla SFT de 76.358 ejemplos; fine-tuning de Qwen3-8B/32B; evaluación IPE/MPD mediante checklists y juez GPT-5-mini en tres ejecuciones; comparación con ocho baselines, ablation de tres condiciones, dos benchmarks externos y validaciones humanas parciales.

Muestra: El corpus publicado contiene exactamente 11.359 escenarios sintéticos, con dos a cinco patrones y dos a seis personajes, dividido en 10.265 train, 50 ID, 50 OOD y 994 mixed. La validación de contenido cubre 30/244 patrones con tres anotadores; la validación del juez cubre 100 escenarios con tres expertos humanos. No existe una muestra de conductas humanas usada como ground truth del benchmark.

Hallazgos

  • HumanLLM-8B mejora sobre Qwen3-8B de 18,6 a 25,7 en IPE y de 54,4 a 70,3 en MPD.
  • HumanLLM-8B supera Qwen3-32B en MPD pero queda 0,3 puntos por debajo en IPE.
  • HumanLLM-32B obtiene 32,8 IPE y 73,6 MPD frente a 26,0 y 65,8 de Qwen3-32B.
  • Gemini 3 Pro es el mejor baseline reportado, con 41,3 IPE y 85,1 MPD.
  • La condición OpenThoughts+CoSER rinde peor que Qwen3-8B base, 9,1/31,3 frente a 18,6/54,4.
  • La mezcla completa es superior en la ablation, pero no hay condición HumanLLM-only ni replicaciones de entrenamiento.
  • HumanLLM-32B queda por debajo de Qwen3-235B en IPE, 32,8 frente a 34,3, y ligeramente por encima en MPD, 73,6 frente a 72,5.
  • Las mejoras externas sobre Qwen3 del mismo tamaño son pequeñas y no incluyen incertidumbre.
  • La correlación humano-GPT-5-mini es .90 para IPE y .88 para MPD en 100 escenarios.
  • La release pública reproduce los tamaños declarados, pero presenta defectos de esquema, checklist y conversión SFT.

Limitaciones

  • La taxonomía mezcla rasgos, adjetivos, sesgos, efectos sociales, procesos motivacionales y teorías en niveles ontológicos heterogéneos.
  • No se publican queries, fechas, criterios, flujo PRISMA, deduplicación, quality appraisal o bibliografía por patrón.
  • Cuando no se obtiene texto completo, el pipeline conserva abstracts, por lo que no toda la síntesis procede de artículos completos.
  • Solo 30 de 244 patrones reciben revisión humana y la fiabilidad global es alfa=.67.
  • La cobertura de manifestaciones tiene alfa=.58.
  • Escenarios, conversaciones y checklists se generan desde las mismas definiciones sintéticas, creando circularidad de medición.
  • No hay comportamiento humano observado ni un ground truth psicológico independiente.
  • La correlación r=.90 mide acuerdo sobre IPE, no antropomorfismo general ni semejanza con personas.
  • Faltan fiabilidad entre humanos, intervalos, tests, reclutamiento y cegamiento en la validación del juez.
  • IPE y MPD tienen distinto número y granularidad de ítems; comparar sus niveles no identifica profundidad o sample efficiency.
  • La ablation no incluye HumanLLM-only y confunde composición de datos con los mecanismos causales propuestos.
  • No se entrenan múltiples seeds ni se reportan tests estadísticos de las diferencias.
  • Tres repeticiones del juez no prueban estabilidad de entrenamiento o de ranking a nivel de ejemplo.
  • Faltan identificadores inmutables, fechas, parámetros completos, hardware, compute, tokens, orden y selección de checkpoint.
  • Los registros públicos de patrones no contienen referencias y sympathetic tiene una manifestación vacía.
  • Jealousy y jealousy colisionan; el patrón jealous queda sin checklist exacto en 252 escenarios.
  • Los splits mezclan conversation como lista y string, contienen situaciones vacías y violan algunas restricciones de generación.
  • Un total de 11.507 muestras ShareGPT empiezan con un turno humano vacío.
  • El README referencia scripts ausentes y rutas no publicadas.
  • No hay pesos, entrenamiento, evaluación, inferencia, tests, CI o licencia explícita en el repositorio.
  • El script de arXiv usa HTTP sin cifrar para una consulta de metadatos.
  • No se evalúan suficientemente los riesgos de estereotipado al representar patrones controvertidos como fuerzas cognitivas.

Qué no demuestra

  • No establece que HumanLLM piense o se comporte como una persona real.
  • No demuestra mecanismos cognitivos causales; optimiza expresión textual de descripciones y checklists.
  • No valida los 244 patrones como una taxonomía psicológica coherente o exhaustiva.
  • No demuestra generalización a conducta humana, interacción real, culturas o idiomas no evaluados.
  • No establece que MPD mida comprensión más profunda o más sample-efficient que IPE.
  • No prueba sinergia o transferencia negativa causal mediante la ablation disponible.
  • No establece superioridad sobre todos los modelos mayores: HumanLLM-32B pierde frente a Qwen3-235B en IPE.
  • No permite reproducir entrenamiento, checkpoints, inferencia o tablas principales desde los artefactos públicos.
  • No respalda la afirmación de que todos los pesos y todo el código estén publicados.
  • No resuelve licenciamiento, gobernanza de datos, seguridad o riesgos de despliegue.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2601.10198v4, last revised 2026-04-17; accepted to ACL 2026 Main Conference

Fuente consultada: https://arxiv.org/abs/2601.10198

Revisión: Codex 32-page visual full-text, complete arXiv source, taxonomy, literature pipeline, synthetic circularity, human validation, metrics, statistics, Git LFS dataset, code, model-release, licensing and claim-boundary audit, 2026-07-18

Aprobación: Codex fidelity pass, 2026-07-18

Modelos evaluados

  • Gemini Deep Search para recuperación bibliográfica
  • Gemini 2.5 Pro para síntesis de patrones y generación de escenarios
  • Claude Sonnet 4.5 para conversaciones sintéticas
  • GPT-5-mini como juez de IPE y MPD
  • Qwen3-8B y Qwen3-32B como bases de HumanLLM
  • HumanLLM-8B y HumanLLM-32B, pesos no publicados en el repositorio auditado
  • GPT-5, Claude Sonnet 4.5 y Gemini 3 Pro
  • Qwen3-8B/32B/235B, DeepSeek-V3.2 y DeepSeek-R1

Instrumentos y métricas

  • 100 marcadores unipolares Big Five de Goldberg
  • 144 patrones sociocognitivos retenidos de 232 candidatos
  • DIAMONDS para variación situacional
  • Individual Pattern Expression, 12-15 ítems por patrón
  • Multi-Pattern Dynamics, 2-6 ítems por escenario y personaje
  • GPT-5-mini con scoring ternario -1/0/+1
  • Validación de 30 patrones por tres anotadores en cinco dimensiones
  • Validación humano-juez en 100 escenarios
  • LifeChoice y CroSS-MR como benchmarks externos
  • Ablation base, OpenThoughts+CoSER y mezcla completa

Datos utilizados

  • HumanLLM: 11.359 escenarios, 10.265 train, 50 ID, 50 OOD y 994 mixed
  • HumanLLM SFT: 30.543 train, 148 ID, 152 OOD y 2.939 mixed en la release
  • Mezcla SFT reportada: 30.543 HumanLLM, 30.543 OpenThoughts y 15.272 CoSER
  • patterns_data.json: 244 patrones sin bibliografía por registro
  • pattern_level_checklist.json: 244 claves y 3.412 indicadores
  • Aproximadamente 12.000 papers de trabajo no publicados como bibliografía trazable

Evidencia y localización

  • Texto, tablas, figuras, métodos, prompts, ejemplos, referencias y apéndices: arXiv:2601.10198v4, all 32/32 PDF pages rendered and individually inspected
  • Versión, fecha, aceptación, autoría y fuente completa: Official arXiv v4 abstract page and complete source archive sha256 1fc7c7ada9e6383af5da2e5a6b105c268f2029702ccb03569a19f48552e15829
  • Estado real del repositorio, código, documentación, licencia y ausencia de pesos: Official GitHub repository at commit 982c179126b1c31446f5593622069471cf8321dd; commit archive sha256 845af27590869dbdd5b6c771a7bc8035367d41ce5df9115323877109a612bcd2
  • Conteos, hashes, esquemas, checklists, colisión jealous y mensajes vacíos: All ten released Git LFS JSON objects downloaded and inspected; key object hashes recorded in the article audit
  • Auditoría de taxonomía, circularidad, validación, estadísticas, datos, código, release y límites: reports/verification/article-403-humanllm-taxonomy-circularity-dataset-code-release-and-claim-audit.json