A Survey of Large Language Models for Perception and Measurement of Human Psychology

Revisiones, teoría y gobernanza2026arXivRevisión editorial aprobada

Autores: Yudong Li, Xiaoyi Chen, Jiawei Cai, Zehao Zhong, Haoyang Yang, Huajin Tang, Linlin Shen

Palabras clave: Psychological measurement, Personality assessment, Mental health screening, Psychometrics, Narrative survey, Review methodology

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

7
Autores
12
Hallazgos
15
Limitaciones
7
Evidencias

Resumen editorial

Español

Este trabajo, aceptado por IEEE Transactions on Cognitive and Developmental Systems y disponible como arXiv v1 de 21 páginas, organiza la literatura sobre modelos de lenguaje como instrumentos para percibir o medir atributos psicológicos humanos. Su pregunta es si un LLM puede inferir constructos latentes, personalidad, emoción, estados cognitivos o indicadores de salud mental, a partir de conversación, texto natural o señales multimodales. Los autores estructuran el campo en tres dimensiones: plausibilidad teórica (por qué podría funcionar), metodología de medición (cómo se realiza) y eficacia aplicada (qué se ha medido). La primera recurre a resultados funcionales de teoría de la mente y a la capacidad de simular “sujetos virtuales”; la segunda distingue evaluación activa y conversacional, evaluación pasiva de lenguaje y fusión multimodal; la tercera recorre personalidad y salud mental. La fuente cita 229 referencias únicas y contiene seis tablas: una de teoría de la mente, otra de sujetos virtuales, 24 estudios organizados por paradigma, nueve marcos de personalidad, veinte filas de “tendencias” de rendimiento y quince datasets reales o sintéticos.

La síntesis describe, dentro de la evaluación activa, entrevistas o diálogos adaptativos, prompting con chain-of-thought, ajuste de instrucciones y arquitecturas multiagente que preguntan, aclaran y puntúan. En evaluación pasiva reúne clasificación zero/few-shot, embeddings, RAG, ajuste fino y destilación para inferir rasgos o síntomas desde ensayos, redes sociales y transcripciones. La sección multimodal combina texto con imagen, vídeo, audio, wearables o señales fisiológicas. Para personalidad, repasa Big Five, HEXACO, MBTI, Dark Triad y marcos menos utilizados; para salud mental, incluye detección de depresión, ansiedad, PTSD, emoción y riesgo suicida. El artículo reconoce problemas sustantivos: sensibilidad al prompt, inestabilidad temporal, respuestas socialmente deseables, dificultad con ítems invertidos, alucinación, opacidad, privacidad, sesgo cultural y demográfico, coste, dependencia de proveedores y falta de validación clínica. Su posición final es prudente: bajo condiciones controladas los LLM pueden apoyar tareas estructuradas de inferencia o cribado, pero no alcanzan la fiabilidad e interpretabilidad necesarias para sustituir instrumentos validados o juicio clínico.

La auditoría obliga, sin embargo, a cambiar cómo debe describirse la contribución. Aunque el artículo se llama repetidamente “systematic review”, no informa bases de datos, cadenas de búsqueda, fechas, criterios de inclusión o exclusión, deduplicación, fases de cribado, número de revisores, resolución de desacuerdos, diagrama de flujo, protocolo registrado, formulario de extracción, evaluación de calidad ni riesgo de sesgo. Tampoco publica el inventario completo de estudios seleccionados ni un dataset de extracción. Es por tanto una encuesta narrativa amplia con una taxonomía útil, no una revisión sistemática reproducible. No se puede saber si la cobertura es exhaustiva, qué trabajos fueron descartados o cuánto sesgo de selección afecta a las conclusiones.

También hay mezcla de objetos de estudio. El foco declarado es usar LLM para medir a personas, pero la base teórica y varias aplicaciones incluyen modelos como sujetos virtuales, cuestionarios administrados al propio LLM, role-play de personalidades y simulaciones multiagente. Que un modelo reproduzca respuestas coherentes con una persona o resuelva una prueba de teoría de la mente no demuestra que mida válidamente la personalidad o salud mental de un humano real. Parte de la sección multimodal incluye sentiment analysis sobre productos, eventos o celebridades, y la historia de salud mental incorpora BERT/RoBERTa; eso amplía el alcance más allá de LLM y psicometría humana. Estas líneas son relevantes como contexto, pero no deben agregarse como evidencia equivalente de validez de medida.

La evidencia psicométrica tampoco permite una conclusión cuantitativa uniforme. La tabla de marcos asigna etiquetas High, Moderate-High, Moderate o Low sin rubricar cómo se obtuvieron. La tabla de rendimiento mezcla accuracy, MSE, F1, mejora porcentual, descripciones narrativas, scores de rasgo, acuerdo, R², correlaciones, alfa de Cronbach, varianza explicada y d de Cohen en datasets, tareas y modelos incompatibles, incluidos métodos anteriores a los LLM. Por ello no demuestra una mejora sostenida en el tiempo ni permite ordenar sistemas. En salud mental, el texto habla de validez concurrente parcial porque algunos clasificadores igualan baselines supervisados, pero luego admite que sensibilidad, especificidad en umbrales clínicos, validez predictiva y acuerdo entre modelos están poco estudiados. Accuracy de benchmark no equivale a diagnóstico válido, calibración, beneficio clínico o cribado seguro. La frase “validez moderada” es una valoración narrativa, no un efecto combinado ni una graduación formal de certeza.

Hay además afirmaciones cuantitativas y regulatorias que requieren límites. El ejemplo de coste dice que 10.000 transcripciones de 500 tokens de entrada costarían unos 375 dólares con GPT-4; con el precio que el propio texto cita, 30 dólares por millón de tokens de entrada, cinco millones de tokens son 150 dólares. Como no especifica tokens ni precio de salida, la cifra no se reproduce. En regulación estadounidense, el artículo afirma de forma general que la FDA clasifica como dispositivo el software de apoyo clínico destinado a informar diagnóstico o tratamiento, pero la guía oficial distingue funciones Non-Device CDS que cumplen los cuatro criterios legales de otras funciones que sí son dispositivo. En la UE, “usarse en un contexto sanitario” no basta por sí solo: el artículo 6 de la Ley de IA remite a condiciones de producto/componente de seguridad y evaluación de conformidad del Anexo I o a usos del Anexo III, con excepciones. La guía APA de telepsicología de 2013 sí exige preservar fiabilidad, validez y condiciones de administración al adaptar tests a tecnología, pero no trata LLM ni fundamenta por sí sola la frase más amplia sobre herramientas automatizadas como mero suplemento del juicio clínico. Finalmente, la afirmación absoluta de que ningún evaluador psicológico basado en LLM tiene autorización regulatoria no incluye jurisdicción, registro, definición de producto, fecha ni búsqueda verificable.

La contribución defendible es un mapa conceptual amplio y una advertencia bien orientada sobre los límites actuales. No aporta un nuevo ensayo psicométrico, no hace meta-análisis, no demuestra validez clínica ni exhaustividad de la literatura y no justifica sustituir evaluaciones humanas. Su mejor uso es como puerta de entrada temática y taxonomía provisional, verificando cada estudio primario y tratando sus conclusiones agregadas como narrativas.

English

This 21-page paper, accepted by IEEE Transactions on Cognitive and Developmental Systems and available as arXiv v1, organizes literature on language models used as instruments to perceive or measure human psychology. It asks whether an LLM can infer latent constructs, personality, emotion, cognitive states, or mental-health indicators, from conversation, natural language, or multimodal signals. The authors structure the field around theoretical plausibility (why measurement might work), measurement methodology (how it is performed), and application effectiveness (what has been measured). The first invokes functional theory-of-mind results and virtual-subject simulation; the second distinguishes active conversational assessment, passive natural-language assessment, and multimodal fusion; the third covers personality and mental health. The source cites 229 unique references and includes six tables: theory-of-mind results, virtual subjects, 24 studies organized by paradigm, nine personality frameworks, twenty “performance trend” rows, and fifteen real or synthetic datasets.

The active-assessment synthesis covers adaptive interviews and dialogues, chain-of-thought prompting, instruction tuning, and multi-agent systems that ask, clarify, and score. Passive assessment includes zero/few-shot classification, embeddings, RAG, fine-tuning, and distillation to infer traits or symptoms from essays, social media, and transcripts. The multimodal section combines text with images, video, audio, wearables, or physiological signals. The personality discussion covers the Big Five, HEXACO, MBTI, Dark Triad, and less frequently used frameworks; the mental-health section includes depression, anxiety, PTSD, emotion, and suicide-risk detection. The paper acknowledges major limitations: prompt sensitivity, temporal instability, socially desirable responding, reverse-coded-item failures, hallucination, opacity, privacy, cultural and demographic bias, cost, vendor dependence, and insufficient clinical validation. Its final position is appropriately cautious: under controlled conditions LLMs may support structured inference or screening tasks, but they do not meet the reliability and interpretability requirements for replacing validated instruments or clinical judgment.

The audit changes how the contribution should be characterized. Although the paper repeatedly calls itself a “systematic review,” it reports no databases, search strings, search dates, inclusion or exclusion criteria, deduplication, screening stages, reviewer counts, disagreement resolution, flow diagram, registered protocol, extraction form, study-quality assessment, or risk-of-bias method. It also releases no complete inventory of selected studies or extraction dataset. It is therefore a broad narrative survey with a useful taxonomy, not a reproducible systematic review. Readers cannot determine whether coverage is exhaustive, what was excluded, or how selection bias affects the conclusions.

The review also mixes distinct research objects. Its declared focus is using LLMs to measure people, but the theoretical basis and several applications include models acting as virtual subjects, questionnaires administered to the LLM itself, personality role-play, and multi-agent social simulation. A model's ability to produce persona-consistent answers or solve a theory-of-mind benchmark does not validate measurement of a real human's personality or mental health. Parts of the multimodal section cover sentiment analysis about products, events, or celebrities, while the mental-health history includes BERT and RoBERTa systems. These are relevant context but extend beyond LLM-based human psychometrics and cannot be pooled as equivalent validation evidence.

The psychometric evidence does not support a uniform quantitative conclusion. The framework table assigns High, Moderate-High, Moderate, or Low validation labels without a reported rubric. The performance table mixes accuracy, MSE, F1, percentage improvement, narrative descriptions, trait scores, agreement, R-squared, correlations, Cronbach's alpha, explained variance, and Cohen's d across incompatible datasets, tasks, and model classes, including pre-LLM methods. It therefore cannot demonstrate steady improvement over time or rank systems. In mental health, the text describes partial concurrent validity because some classifiers match supervised baselines, but later acknowledges that sensitivity, specificity at clinically meaningful thresholds, predictive validity, and cross-model agreement remain underexplored. Benchmark accuracy is not diagnostic validity, calibration, clinical benefit, or safe screening performance. “Moderate validity” is a narrative judgment, not a pooled effect or formal certainty grade.

Several quantitative and regulatory claims need explicit boundaries. The cost example says 10,000 transcripts averaging 500 input tokens would cost about $375 using GPT-4. At the paper's own stated rate of $30 per million input tokens, five million input tokens cost $150; output-token quantity and price are omitted, so $375 is not reproducible. In the United States, the survey broadly states that FDA classifies clinical decision-support software intended to inform diagnosis or treatment as a device, but official guidance distinguishes functions meeting all four statutory Non-Device CDS criteria from device software functions. In the EU, a health-related context alone is not a universal high-risk test: Article 6 relies on Annex I product/safety-component and conformity-assessment conditions or Annex III uses, with stated exceptions. The cited 2013 APA telepsychology guideline does support preserving reliability, validity, and administration conditions when tests are adapted to technology, but it predates LLM assessment and does not by itself support the broader automated-tool/clinical-judgment statement. Finally, the absolute assertion that no LLM psychological-assessment tool has regulatory clearance is not backed by a jurisdiction, registry, product definition, search date, or reproducible search.

The defensible contribution is a wide conceptual map and a well-directed warning about current limitations. It is not a new psychometric trial, meta-analysis, demonstration of clinical validity, or proof of exhaustive literature coverage, and it does not support replacing human assessment. Its strongest use is as a thematic entry point and provisional taxonomy, with every consequential claim checked against the cited primary study.

Pregunta de investigación

¿Qué plausibilidad teórica, paradigmas metodológicos, aplicaciones y límites presenta la literatura que usa LLM como instrumentos para inferir o medir atributos psicológicos humanos?

Método

Encuesta narrativa organizada en plausibilidad teórica, metodología de medición y eficacia aplicada. Clasifica métodos en evaluación activa/conversacional, análisis pasivo del lenguaje y fusión multimodal, y revisa personalidad, salud mental y retos técnicos, éticos y regulatorios. La auditoría leyó visualmente las 21 páginas, inspeccionó todo el TeX, las seis tablas y 229 referencias citadas, comprobó la ausencia de protocolo sistemático y contrastó afirmaciones regulatorias con FDA, EUR-Lex y APA.

Muestra: No hay muestra primaria ni metaanálisis. El artículo sintetiza de forma narrativa 229 referencias citadas y selecciona ejemplos para seis tablas; no publica el universo buscado, el número cribado, los excluidos ni un inventario reproducible de estudios incluidos.

Hallazgos

  • La taxonomía de tres dimensiones y tres paradigmas ofrece un mapa útil del campo.
  • Los autores concluyen prudentemente que los LLM solo pueden complementar tareas estructuradas bajo condiciones controladas y no sustituir instrumentos validados o juicio clínico.
  • La etiqueta “systematic review” no está respaldada por un método de búsqueda, selección, extracción o evaluación de sesgo reportado.
  • La revisión mezcla medición de humanos, simulación de sujetos y evaluación de la psicología del propio LLM.
  • Teoría de la mente funcional y role-play no demuestran validez de constructo para medir personas reales.
  • La tabla de tendencias mezcla métricas y tareas incompatibles y no demuestra mejora sostenida.
  • Las etiquetas cualitativas de validación de marcos carecen de una rúbrica publicada.
  • La evidencia de salud mental se apoya sobre todo en rendimiento de clasificación, no en validación clínica completa.
  • El coste de 375 dólares no se reproduce con los tokens y precio de entrada impresos.
  • Las formulaciones sobre FDA y Ley de IA europea son más amplias que las reglas oficiales.
  • La cita APA sí apoya preservar propiedades psicométricas al adaptar tests a tecnología, pero no una regla específica sobre LLM.
  • No se publica código, extracción, protocolo ni análisis que permita reproducir la cobertura o síntesis.

Limitaciones

  • Sin bases de datos, búsquedas, fechas ni ventana temporal documentadas.
  • Sin criterios de inclusión/exclusión ni diagrama de flujo.
  • Sin revisión doble, resolución de desacuerdos o protocolo registrado.
  • Sin evaluación de calidad o riesgo de sesgo de estudios primarios.
  • Sin tabla completa de extracción enlazada a cada afirmación.
  • Sin meta-análisis ni medidas comparables entre estudios.
  • Alcance inconsistente entre medir humanos, simular humanos y medir modelos.
  • Inclusión de sentiment analysis general y modelos no LLM.
  • Etiquetas de validación psicométrica sin criterio operacional.
  • Performance trends construidas con métricas heterogéneas.
  • Validez clínica inferida parcialmente desde accuracy de benchmark.
  • Estimaciones de coste sin supuestos suficientes y con aritmética no reproducible.
  • Afirmaciones regulatorias absolutas o demasiado generales.
  • Sin búsqueda registral que sustente ausencia global de autorizaciones.
  • Sin código, datos de revisión o notebook analítico.

Qué no demuestra

  • Que la revisión sea sistemática o exhaustiva.
  • Ausencia de sesgo de selección bibliográfica.
  • Una estimación agregada de validez o fiabilidad.
  • Mejora sostenida del campo entre 2015 y 2025.
  • Que teoría de la mente en LLM valide medición psicológica humana.
  • Equivalencia entre sujetos virtuales y participantes humanos.
  • Validez diagnóstica, calibración o utilidad clínica.
  • Seguridad para cribado, diagnóstico o intervención autónomos.
  • Validez intercultural o invariancia por grupos.
  • Que cualquier CDS sea dispositivo médico en EE. UU.
  • Que cualquier IA en salud sea de alto riesgo en la UE.
  • Ausencia global y actual de cualquier autorización regulatoria.
  • Corrección de las cifras de coste publicadas.
  • Idoneidad para sustituir instrumentos psicométricos o juicio profesional.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.20603v1, 21 pages; accepted by IEEE TCDS; DOI 10.1109/TCDS.2026.3695985; complete TeX and all tables audited

Fuente consultada: https://arxiv.org/abs/2606.20603

Revisión: Codex 21-page visual, complete TeX/table, review-method, psychometric-claim, cost-arithmetic, FDA, EU AI Act, APA and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-3.5 and GPT-4-family models cited across primary studies
  • Gemini-family models cited across primary studies
  • Llama-family models cited across primary studies
  • DeepSeek-family models cited across primary studies
  • Domain-tuned psychology and mental-health language models
  • BERT and RoBERTa systems as historical or comparative non-generative baselines

Instrumentos y métricas

  • Theory-of-mind benchmarks as theoretical context
  • Big Five
  • HEXACO
  • MBTI
  • Dark Triad / Short Dark Triad
  • Depression, anxiety and PTSD classification tasks
  • Emotion and empathy benchmarks
  • Accuracy, F1, MSE, R-squared, correlation and reliability metrics across heterogeneous studies
  • Independent systematic-review-method and regulatory-claim audit

Datos utilizados

  • No primary experimental dataset introduced by the survey
  • Twenty-four study rows in the paradigm table
  • Fifteen real or synthetic datasets in the personality/mental-health dataset table
  • Examples include Essays, CPED, PsyQA, PANDORA, CMACD, PDCH, EATD, myPersonality, MMPsy, SoulChat and Psych8k

Evidencia y localización

  • Texto, estructura, tablas, conclusiones, limitaciones y referencias: arXiv:2606.20603v1, 21 pages, sha256 284ee1f7f2123022a427aa96401885901b26bcaf2a5babbc59b7c6d8abd4aa48
  • Fuente TeX, ausencia de método sistemático y composición de tablas: arXiv source v1 sha256 45514c47f863cd9a2e3fcad5c48d28888fc573594803cdbcab4be9238aa5cb59; main TeX sha256 f9d0588337db59c2654fd2bf1a27b8dcd821ad4eef53ca880fcd1f89ee9236eb
  • Aceptación y metadatos editoriales: arXiv record and DOI 10.1109/TCDS.2026.3695985, IEEE record 11534094, checked 2026-07-17
  • Alcance regulatorio de CDS en Estados Unidos: FDA Clinical Decision Support Software guidance, January 2026, checked 2026-07-17
  • Reglas de clasificación de alto riesgo en la UE: Regulation (EU) 2024/1689, Article 6 and Annexes I/III, official EUR-Lex text, checked 2026-07-17
  • Integridad psicométrica al adaptar evaluación a telepsicología: APA Guidelines for the Practice of Telepsychology, American Psychologist 68(9), 2013, Guideline 6
  • Auditoría independiente completa: reports/verification/article-323-llm-psychology-survey-method-scope-psychometrics-regulatory-and-reproducibility-audit.json