Humanizing LLMs: A Survey of Psychological Measurements with Tools, Datasets, and Human-Agent Applications

Revisiones, teoría y gobernanza2025arXivRevisión editorial aprobada

Autores: Wenhan Dong, Yuemeng Zhao, Zhen Sun, Yule Liu, Zifan Peng, Jingyi Zheng, Zongmin Zhang, Ziyi Zhang, Jun Wu, Ruiming Wang, Shengmin Xu, Xinyi Huang, Xinlei He

Palabras clave: Computers and Society, Computation and Language, Human-Computer Interaction, Machine Learning, Psychological traits, Trustworthy AI

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

13
Autores
20
Hallazgos
69
Limitaciones
16
Evidencias

Resumen editorial

Español

Este preprint ofrece una revisión narrativa extensa de cómo se trasladan teorías e instrumentos psicológicos al estudio de los LLM. Organiza 154 referencias en seis frentes: herramientas de evaluación, conjuntos de datos específicos para LLM, consistencia y estabilidad, resultados atribuidos a distintas familias de modelos, métodos para inducir o editar personalidad y simulaciones de conducta humana. Describe cuestionarios de personalidad como MBTI, BFI, IPIP-NEO, SD3, HEXACO y SSCS; medidas de afecto y agresión como PANAS y BPAQ; y tareas de teoría de la mente como falsa creencia, Strange Stories, Imposing Memory y Faux Pas. También reúne recursos diseñados o reutilizados para modelos, entre ellos MPI, TRAIT, SECEU, EQ-Bench, EmoBench, ToMi, un benchmark psicométrico multidominio y SocialIQA.

Su aportación más útil es taxonómica. Distingue la consistencia de respuestas bajo cambios de orden, prompt, temperatura, formulación, ítems invertidos o repeticiones; la consistencia estadística mediante desviación estándar, alfa, omega, ICC y test-retest; y la coherencia entre autoinforme y conducta. Separa esto de la estabilidad después de fine-tuning, cambios de parámetros o inducción y edición de personalidad, aunque reconoce que la literatura usa «estabilidad» de manera poco uniforme. Para simulación de rasgos resume prompting explícito, escenarios implícitos, fine-tuning y edición de modelos; para aplicaciones distingue experimentos sociales, juegos y negociación interactiva. Este vocabulario ayuda a no tratar como equivalentes un cuestionario, un benchmark de capacidad social y una conducta de agente.

Los perfiles de GPT, LLaMA, Mistral, Qwen, Claude y Gemini, sin embargo, no proceden de un experimento común ni de un metaanálisis. Combinan generaciones, tamaños, versiones, idiomas, prompts, instrumentos y fechas diferentes. El propio texto presenta resultados contradictorios para GPT-4 en SD3 y variabilidad por tarea, pero la figura inicial condensa cada familia en un único «Psychological ID» y la conclusión afirma que GPT-4 rinde mejor en todas las dimensiones. Esa comparación no está respaldada por una matriz común de modelos, pruebas y condiciones. Ser juez de EQ-Bench, acertar una tarea emocional, producir lenguaje empático o responder un autoinforme tampoco demuestra el mismo constructo psicológico. Varias frases de las secciones de Claude, Gemini y Qwen carecen de una cita directa o convierten decisiones de uso en evidencia de capacidad.

La principal limitación es que el artículo se denomina sistemático sin proporcionar un método de revisión sistemática. No declara bases bibliográficas, consulta, periodo de búsqueda, fecha de corte, criterios de inclusión o exclusión, proceso de cribado, diagrama de flujo, corpus de estudios incluidos, protocolo de extracción, revisores, resolución de desacuerdos ni evaluación de calidad o riesgo de sesgo. Las 154 referencias mezclan estudios primarios de LLM, validaciones psicométricas humanas, revisiones, páginas de modelos y recursos generales; no forman un conjunto de evidencia definido que otro equipo pueda reconstruir. Además, la fiabilidad o validez de un cuestionario en personas no se transfiere automáticamente a un modelo: que MBTI tenga una exigencia lectora de séptimo curso solo indica que un LLM puede procesar el texto, no que sus puntuaciones sean válidas, invariantes o interpretable como personalidad.

El trabajo acierta al advertir de sensibilidad al prompt, orden de opciones, temperatura, falta de diversidad y desajuste entre herramientas humanas y modelos. También reconoce que los LLM no sustituyen de forma completa a participantes humanos. Aun así, sus propuestas de mejorar seguridad «optimizando» rasgos y de emplear modelos como muestras humanas son hipótesis, no resultados demostrados por la revisión. No hay experimento nuevo, metaanálisis, tabla de extracción, código ni datos; el archivo fuente oficial contiene TeX, bibliografía y siete figuras. La contribución defendible es una puerta de entrada amplia y visual al espacio de herramientas, conjuntos de datos y aplicaciones hasta abril de 2025. No es una estimación sistemática de la evidencia, no establece perfiles psicológicos estables por familia y no valida el uso clínico o poblacional de estas mediciones.

English

This preprint provides a broad narrative review of how psychological theories and instruments are transferred to the study of LLMs. It organizes 154 references across six areas: assessment tools, LLM-specific datasets, consistency and stability, findings attributed to model families, methods for inducing or editing personality, and simulations of human behavior. It describes personality questionnaires such as MBTI, BFI, IPIP-NEO, SD3, HEXACO, and SSCS; affect and aggression measures such as PANAS and BPAQ; and theory-of-mind tasks including false-belief tests, Strange Stories, Imposing Memory, and Faux Pas. It also collects model-oriented or repurposed resources including MPI, TRAIT, SECEU, EQ-Bench, EmoBench, ToMi, a multidomain psychometrics benchmark, and SocialIQA.

Its most useful contribution is taxonomic. It distinguishes response consistency under changes in option order, prompts, temperature, wording, reverse-scored items, or repeated administration; statistical consistency through standard deviation, alpha, omega, ICC, and test-retest; and agreement between self-report and behavior. It separates these notions from stability after fine-tuning, parameter changes, or personality induction and editing, while acknowledging that the literature uses “stability” inconsistently. For trait simulation it summarizes explicit prompting, implicit scenarios, fine-tuning, and model editing; for applications it distinguishes social experiments, games, and interactive negotiation. This vocabulary helps avoid treating a questionnaire, a social-capability benchmark, and agent behavior as equivalent.

The profiles of GPT, LLaMA, Mistral, Qwen, Claude, and Gemini, however, do not come from a shared experiment or meta-analysis. They combine different generations, sizes, versions, languages, prompts, instruments, and dates. The paper itself reports contradictory GPT-4 SD3 results and task-dependent variability, yet the opening figure compresses each family into one “Psychological ID,” and the conclusion says GPT-4 performs best across all dimensions. No common model-by-test-by-condition matrix supports that comparison. Serving as an EQ-Bench judge, succeeding on an emotion task, producing empathic language, and answering a self-report questionnaire also do not establish the same psychological construct. Several claims in the Claude, Gemini, and Qwen sections lack a direct citation or turn how a model was used into evidence of ability.

The central limitation is that the paper calls itself systematic without reporting a systematic-review method. It gives no bibliographic databases, search string, search period, cut-off date, inclusion or exclusion criteria, screening process, flow diagram, included-study corpus, extraction protocol, reviewers, disagreement procedure, or quality and risk-of-bias assessment. The 154 references mix primary LLM studies, human psychometric validation studies, reviews, model web pages, and general resources; they do not form a defined evidence set another team could reconstruct. Reliability or validity in human respondents also does not automatically transfer to a model: saying that MBTI has a seventh-grade reading requirement only indicates that an LLM can process the text, not that its scores are valid, invariant, or interpretable as personality.

The paper appropriately warns about sensitivity to prompts, option order, temperature, limited diversity, and mismatches between human instruments and models. It also acknowledges that LLMs cannot fully replace human participants. Its proposals to improve safety by “optimizing” traits and to use models as human samples nevertheless remain hypotheses, not findings established by the review. There is no new experiment, meta-analysis, extraction table, code, or data; the official source archive contains TeX, bibliography, and seven figures. The defensible contribution is a broad, visual entry point to tools, datasets, and applications through April 2025. It is not a systematic estimate of the evidence, does not establish stable family-level psychological profiles, and does not validate clinical or population-level uses of these measurements.

Pregunta de investigación

¿Qué herramientas psicológicas, conjuntos de datos, métricas de consistencia y estabilidad, resultados empíricos, métodos de simulación de personalidad y aplicaciones de agentes se han utilizado para estudiar características psicológicas atribuidas a LLM, y qué problemas metodológicos quedan abiertos?

Método

Revisión narrativa organizada en seis dimensiones y apoyada en 154 referencias. Resume instrumentos psicológicos humanos, benchmarks específicos o adaptados a LLM, trabajos sobre consistencia y estabilidad, resultados publicados para seis familias de modelos, técnicas de prompting, fine-tuning y edición, y tres tipos de simulación de roles humanos. No presenta protocolo de búsqueda, selección, extracción o evaluación de calidad, por lo que «sistemática» describe la organización temática y no un procedimiento reproducible. La auditoría leyó y renderizó las 26 páginas, inspeccionó las siete figuras y las 154 referencias, revisó el TeX y la bibliografía del archivo fuente oficial y realizó una búsqueda dirigida de artefactos.

Muestra: La revisión cita 154 referencias, pero no declara cuántas fueron candidatas, cribadas, excluidas o finalmente consideradas estudios incluidos. La bibliografía combina publicaciones sobre LLM, validaciones de escalas en personas, revisiones, páginas web de modelos y trabajos generales. No existe una tabla de corpus con modelo, versión, fecha, idioma, prompt, muestra, instrumento, métrica y calidad que permita calcular cobertura o comparar resultados de manera homogénea.

Hallazgos

  • La revisión organiza el campo en herramientas, datasets, evaluación, análisis de modelos, simulación de personalidad y aplicaciones humanas.
  • Las herramientas tradicionales se agrupan en personalidad, emoción y salud mental, y teoría de la mente.
  • Se documenta el uso en LLM de MBTI, BFI, IPIP-NEO, SD3, HEXACO y SSCS.
  • PANAS y BPAQ se presentan como medidas de afecto y agresión, aunque su validación descrita procede principalmente de personas.
  • Las tareas de falsa creencia, Strange Stories, Imposing Memory y Faux Pas cubren distintos niveles de razonamiento social.
  • MPI y TRAIT intentan adaptar la evaluación de personalidad al dominio de los LLM.
  • SECEU, EQ-Bench y EmoBench operacionalizan componentes distintos de comprensión emocional.
  • ToMi y benchmarks compuestos intentan evaluar teoría de la mente y múltiples dimensiones psicológicas.
  • La consistencia se descompone en sensibilidad de condiciones, coherencia lógica y semántica, consistencia estadística y congruencia con evaluación humana.
  • La estabilidad se usa para persistencia tras fine-tuning, cambios de parámetros e inducción o edición de personalidad.
  • La literatura reseñada informa sensibilidad al orden de opciones, formulación del prompt y temperatura.
  • Las puntuaciones de autoinforme no siempre concuerdan con conductas generadas o tareas indirectas.
  • Los resultados atribuidos a una misma familia cambian entre versiones, instrumentos y condiciones.
  • El texto recoge resultados SD3 contradictorios para GPT-4 entre dos trabajos.
  • Prompting explícito e implícito, fine-tuning y edición pueden dirigir estilos o respuestas compatibles con rasgos objetivo.
  • La consistencia de la personalidad inducida sigue siendo un problema, especialmente en diálogo prolongado y contextos distintos.
  • Las aplicaciones se dividen en simulación de experimentos sociales, juegos y negociación interactiva.
  • La revisión reconoce diversidad de pensamiento reducida y respuestas demasiado uniformes al usar LLM como participantes simulados.
  • El trabajo identifica desajustes entre herramientas humanas y capacidades de los modelos como problema central.
  • El archivo fuente oficial no contiene experimentos ejecutables, datos de extracción ni corpus de revisión reproducible.

Limitaciones

  • El documento es un preprint arXiv v1 y no declara revisión por pares o aceptación editorial.
  • Se autodenomina revisión sistemática sin incluir una sección de método de revisión.
  • No identifica bases bibliográficas consultadas.
  • No publica cadenas o consultas de búsqueda.
  • No declara fechas de búsqueda ni fecha de corte explícita.
  • No define criterios de inclusión.
  • No define criterios de exclusión.
  • No informa idiomas o tipos documentales elegibles.
  • No describe deduplicación de resultados.
  • No informa número de registros encontrados.
  • No describe cribado de títulos, abstracts o textos completos.
  • No presenta diagrama PRISMA o flujo equivalente.
  • No enumera estudios excluidos ni razones de exclusión.
  • No proporciona una lista separada de estudios incluidos.
  • No publica formulario o protocolo de extracción.
  • No declara cuántos revisores seleccionaron o extrajeron evidencia.
  • No describe resolución de desacuerdos ni fiabilidad entre revisores.
  • No evalúa calidad metodológica o riesgo de sesgo de los estudios citados.
  • No registra protocolo previo.
  • No aporta tabla de características del corpus.
  • No permite distinguir exhaustividad de selección narrativa.
  • Las 154 referencias mezclan evidencia primaria, validación humana, revisiones y páginas de producto.
  • No se pondera evidencia por diseño, tamaño de muestra, replicación o revisión por pares.
  • No se realiza metaanálisis ni síntesis cuantitativa.
  • No se armonizan métricas con escalas y direcciones diferentes.
  • No se armonizan nombres, tamaños y snapshots de modelos.
  • No se armonizan fechas de acceso de APIs cambiantes.
  • No se armonizan idiomas, prompts, temperaturas o formatos de respuesta.
  • Las comparaciones entre familias proceden de estudios y condiciones distintos.
  • La afirmación de que GPT-4 es mejor en todas las dimensiones no procede de un benchmark común.
  • Figure 1 comprime múltiples generaciones de cada familia en un único perfil psicológico.
  • Los perfiles familiares ocultan contradicciones y variabilidad interna.
  • La figura usa etiquetas de rasgo como si fueran atributos estables del modelo.
  • Las puntuaciones de autoinforme se combinan conceptualmente con capacidades y conductas de agente.
  • No se separa de forma constante rasgo medido, estilo de salida y competencia en una tarea.
  • La fiabilidad humana de una escala no demuestra fiabilidad en LLM.
  • La validez de constructo humana no demuestra el mismo constructo en un generador de texto.
  • La aplicabilidad de MBTI se justifica mediante exigencia lectora, no mediante validación psicométrica en modelos.
  • La presentación de MBTI no desarrolla suficientemente sus limitaciones psicométricas pese a citar una crítica.
  • No se exige invariancia de medida entre modelos, versiones, idiomas o prompts.
  • No se exige estructura factorial recuperable para interpretar dimensiones de cuestionarios.
  • No se distingue siempre repetibilidad de una actuación contextual y persistencia de un rasgo.
  • El propio trabajo reconoce que estabilidad tiene definiciones heterogéneas.
  • Las categorías de emoción, salud mental, agresión y personalidad abarcan constructos no equivalentes.
  • El rótulo mental health se apoya principalmente en afecto y agresión, no en evaluación clínica integral.
  • Los resultados de teoría de la mente pueden depender de contaminación, redacción, formato y demanda de explicación.
  • Las analogías con edades infantiles no comparten necesariamente protocolo, modalidad o proceso cognitivo.
  • La expresión human-like se usa para similitud de respuesta sin establecer mecanismo humano.
  • Ser utilizado como juez de EQ-Bench no valida por sí mismo inteligencia emocional.
  • Ser utilizado como modelo de rol en una evaluación no demuestra experiencia emocional.
  • Varias afirmaciones sobre Claude carecen de datos completos o cita directa.
  • Varias afirmaciones sobre ventajas interculturales de Gemini no aportan una referencia directa en el párrafo.
  • Varias afirmaciones sobre Qwen multimodal y nivel industrial no aportan medida o fuente directa.
  • El texto presenta como evidencia algunas inferencias de ingeniería no verificables.
  • No hay análisis formal de errores de citación o certeza de cada afirmación.
  • No hay sección dedicada de limitaciones de la propia revisión.
  • No hay sección dedicada de ética o conflictos de interés visible en el manuscrito.
  • No se discuten suficientemente contaminación de benchmarks y conocimiento de cuestionarios.
  • No se analiza la dependencia de respuestas respecto al entrenamiento de alineamiento y políticas del proveedor.
  • La rapidez del campo hace que perfiles de abril de 2025 envejezcan con cada snapshot.
  • La recomendación de optimizar personalidad para mejorar seguridad se basa en asociaciones, no en validación causal general.
  • No se prueban efectos de seguridad en despliegues, ataques o resultados de daño.
  • La sustitución de humanos se discute sin un marco completo de validez poblacional.
  • Similitud en tareas concretas no reproduce heterogeneidad demográfica, cultural o clínica.
  • No se publica código de revisión ni bibliografía codificada como dataset.
  • No se publican notas de extracción o decisiones de inclusión.
  • El archivo fuente oficial contiene TeX, bibliografía y figuras, pero no evidencia reproducible adicional.
  • La búsqueda dirigida no localizó un repositorio oficial asociado al artículo.
  • Las siete figuras son legibles, pero su claridad visual no resuelve la falta de trazabilidad metodológica.

Qué no demuestra

  • No establece que los LLM posean mente, emoción o personalidad humana.
  • No demuestra perfiles psicológicos estables para las familias GPT, LLaMA, Mistral, Qwen, Claude o Gemini.
  • No permite comparar qué familia es mejor en todas las dimensiones bajo condiciones equivalentes.
  • No prueba que cuestionarios validados en humanos sean válidos para LLM.
  • No demuestra invariancia psicométrica entre modelos, prompts, idiomas o versiones.
  • No convierte consistencia de respuesta en evidencia de un estado interno.
  • No equipara correctamente autoinforme, capacidad emocional, teoría de la mente y conducta social.
  • No demuestra que prompting o edición creen una personalidad persistente fuera del contexto.
  • No establece que optimizar rasgos mejore causalmente la seguridad general.
  • No valida el uso de LLM como sustitutos representativos de participantes humanos.
  • No valida aplicaciones clínicas, diagnósticas o terapéuticas.
  • No cuantifica prevalencia, tamaño de efecto o certeza de los hallazgos del campo.
  • No demuestra exhaustividad de la literatura revisada.
  • No permite reproducir la selección y síntesis de los 154 trabajos.
  • No constituye por sí solo una revisión sistemática conforme a estándares de reporte reproducible.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2505.00049v1 (30 Apr 2025); DOI 10.48550/arXiv.2505.00049; CC BY 4.0

Fuente consultada: https://arxiv.org/pdf/2505.00049v1

Revisión: Codex full-text, visual, systematic-review-method, psychometric, construct-validity, citation-traceability and source-integrity audit, 2026-07-15

Aprobación: Codex fidelity pass, 2026-07-15

Modelos evaluados

  • GPT family: GPT-3, GPT-3.5, GPT-4, GPT-4o and smaller variants reported across cited studies
  • LLaMA family: LLaMA, LLaMA 2 and LLaMA 3 variants from 7B to 70B reported across cited studies
  • Mistral family, principally Mistral-7B and Mixtral variants
  • Qwen family: Qwen, Qwen 1.5 and Qwen 2.5 variants
  • Claude family: Claude 3 Opus and Sonnet through Claude 3.7 references
  • Gemini family: Gemini 1.0, 1.5, 2.0 and 2.5 references
  • No models were newly run or compared by the survey authors

Instrumentos y métricas

  • Myers-Briggs Type Indicator (MBTI)
  • Big Five Inventory (BFI)
  • IPIP-NEO 300-, 120- and 60-item variants
  • Short Dark Triad (SD3)
  • HEXACO-60 and HEXACO-100
  • Short Scale for Creative Self (SSCS)
  • Positive and Negative Affect Schedule (PANAS)
  • Buss-Perry Aggression Questionnaire and short form
  • False-belief tasks including Sally-Anne and Smarties
  • Strange Stories Test
  • Imposing Memory Test
  • Faux Pas Test
  • Consistency measures: option-order symmetry, prompt sensitivity, reverse-item agreement, standard deviation, Cronbach alpha, McDonald omega, ICC and test-retest
  • Behavioral and self-report congruence measures

Datos utilizados

  • Machine Personality Inventory (MPI)
  • TRAIT personality assessment dataset
  • Situational Evaluation of Complex Emotional Understanding (SECEU)
  • EQ-Bench
  • EmoBench
  • Theory of Mind interactions dataset (ToMi)
  • Li et al. multidomain psychometrics benchmark built from thirteen datasets
  • SocialIQA
  • ToMBench and other ToM datasets discussed in model-family sections
  • Narrative bibliography of 154 mixed references rather than a declared included-study dataset

Evidencia y localización

  • Objetivo y seis dimensiones de la revisión: arXiv:2505.00049v1, abstract and introduction, pp. 1–2
  • Herramientas de personalidad, emoción, agresión y teoría de la mente: Paper, section 2, pp. 2–6
  • Datasets específicos o adaptados a LLM: Paper, section 3 and Figure 5, pp. 6–8
  • Taxonomía de consistencia y estabilidad: Paper, section 4 and Figure 6, pp. 9–12
  • Perfiles narrativos de GPT, LLaMA, Mistral, Qwen, Claude y Gemini: Paper, section 5, pp. 13–15; Figure 1, p. 1
  • Resultados SD3 contradictorios para GPT-4: Paper, section 5.1 Personality Traits, p. 13
  • Prompting, fine-tuning y edición de personalidad: Paper, section 6, pp. 15–16
  • Experimentos sociales, juegos y negociación: Paper, section 7 and Figure 7, pp. 16–18
  • Comparación con revisiones previas y propuestas futuras: Paper, sections 8–9, p. 18
  • Afirmación de GPT-4 como mejor en todas las dimensiones: Paper, conclusion, p. 18
  • Ausencia de protocolo de búsqueda, selección y calidad: Full-paper structure and official main.tex audit: sections 1–10 contain no review-method section; checked 15 Jul 2026
  • Composición y número de referencias: Paper, references 1–154, pp. 19–26; official main.bbl count
  • Versión, fecha, DOI y licencia: arXiv:2505.00049v1 metadata; DOI 10.48550/arXiv.2505.00049; CC BY 4.0; checked 15 Jul 2026
  • Lectura y comprobación visual integral: All 26 PDF pages rendered and inspected, including Figures 1–7 and references; checked 15 Jul 2026
  • Archivo fuente oficial sin código, datos o corpus de revisión: .cache/editorial-sources/article-076/supplements/audit/arxiv-2505.00049v1-source.tar; sha256 e07a1870bf07bbe6d385023f4390ea0999f385bae7a9eebb8162f5781a4ee920
  • Ausencia de repositorio oficial asociado: Paper, arXiv page and targeted title/author/GitHub search; checked 15 Jul 2026