A Survey of Large Language Models for Perception and Measurement of Human Psychology

This 21-page paper, accepted by IEEE Transactions on Cognitive and Developmental Systems and available as arXiv v1, organizes literature on language models used as instruments to perceive or measure human psychology. It asks whether an LLM can infer latent constructs, personality, emotion, cognitive states, or mental-health indicators, from conversation, natural language, or multimodal signals. The authors structure the field around theoretical plausibility (why measurement might work), measurement methodology (how it is performed), and application effectiveness (what has been measured). The first invokes functional theory-of-mind results and virtual-subject simulation; the second distinguishes active conversational assessment, passive natural-language assessment, and multimodal fusion; the third covers personality and mental health. The source cites 229 unique references and includes six tables: theory-of-mind results, virtual subjects, 24 studies organized by paradigm, nine personality frameworks, twenty “performance trend” rows, and fifteen real or synthetic datasets.

The active-assessment synthesis covers adaptive interviews and dialogues, chain-of-thought prompting, instruction tuning, and multi-agent systems that ask, clarify, and score. Passive assessment includes zero/few-shot classification, embeddings, RAG, fine-tuning, and distillation to infer traits or symptoms from essays, social media, and transcripts. The multimodal section combines text with images, video, audio, wearables, or physiological signals. The personality discussion covers the Big Five, HEXACO, MBTI, Dark Triad, and less frequently used frameworks; the mental-health section includes depression, anxiety, PTSD, emotion, and suicide-risk detection. The paper acknowledges major limitations: prompt sensitivity, temporal instability, socially desirable responding, reverse-coded-item failures, hallucination, opacity, privacy, cultural and demographic bias, cost, vendor dependence, and insufficient clinical validation. Its final position is appropriately cautious: under controlled conditions LLMs may support structured inference or screening tasks, but they do not meet the reliability and interpretability requirements for replacing validated instruments or clinical judgment.

The audit changes how the contribution should be characterized. Although the paper repeatedly calls itself a “systematic review,” it reports no databases, search strings, search dates, inclusion or exclusion criteria, deduplication, screening stages, reviewer counts, disagreement resolution, flow diagram, registered protocol, extraction form, study-quality assessment, or risk-of-bias method. It also releases no complete inventory of selected studies or extraction dataset. It is therefore a broad narrative survey with a useful taxonomy, not a reproducible systematic review. Readers cannot determine whether coverage is exhaustive, what was excluded, or how selection bias affects the conclusions.

The review also mixes distinct research objects. Its declared focus is using LLMs to measure people, but the theoretical basis and several applications include models acting as virtual subjects, questionnaires administered to the LLM itself, personality role-play, and multi-agent social simulation. A model's ability to produce persona-consistent answers or solve a theory-of-mind benchmark does not validate measurement of a real human's personality or mental health. Parts of the multimodal section cover sentiment analysis about products, events, or celebrities, while the mental-health history includes BERT and RoBERTa systems. These are relevant context but extend beyond LLM-based human psychometrics and cannot be pooled as equivalent validation evidence.

The psychometric evidence does not support a uniform quantitative conclusion. The framework table assigns High, Moderate-High, Moderate, or Low validation labels without a reported rubric. The performance table mixes accuracy, MSE, F1, percentage improvement, narrative descriptions, trait scores, agreement, R-squared, correlations, Cronbach's alpha, explained variance, and Cohen's d across incompatible datasets, tasks, and model classes, including pre-LLM methods. It therefore cannot demonstrate steady improvement over time or rank systems. In mental health, the text describes partial concurrent validity because some classifiers match supervised baselines, but later acknowledges that sensitivity, specificity at clinically meaningful thresholds, predictive validity, and cross-model agreement remain underexplored. Benchmark accuracy is not diagnostic validity, calibration, clinical benefit, or safe screening performance. “Moderate validity” is a narrative judgment, not a pooled effect or formal certainty grade.

Several quantitative and regulatory claims need explicit boundaries. The cost example says 10,000 transcripts averaging 500 input tokens would cost about $375 using GPT-4. At the paper's own stated rate of $30 per million input tokens, five million input tokens cost $150; output-token quantity and price are omitted, so $375 is not reproducible. In the United States, the survey broadly states that FDA classifies clinical decision-support software intended to inform diagnosis or treatment as a device, but official guidance distinguishes functions meeting all four statutory Non-Device CDS criteria from device software functions. In the EU, a health-related context alone is not a universal high-risk test: Article 6 relies on Annex I product/safety-component and conformity-assessment conditions or Annex III uses, with stated exceptions. The cited 2013 APA telepsychology guideline does support preserving reliability, validity, and administration conditions when tests are adapted to technology, but it predates LLM assessment and does not by itself support the broader automated-tool/clinical-judgment statement. Finally, the absolute assertion that no LLM psychological-assessment tool has regulatory clearance is not backed by a jurisdiction, registry, product definition, search date, or reproducible search.

The defensible contribution is a wide conceptual map and a well-directed warning about current limitations. It is not a new psychometric trial, meta-analysis, demonstration of clinical validity, or proof of exhaustive literature coverage, and it does not support replacing human assessment. Its strongest use is as a thematic entry point and provisional taxonomy, with every consequential claim checked against the cited primary study.

Este trabajo, aceptado por IEEE Transactions on Cognitive and Developmental Systems y disponible como arXiv v1 de 21 páginas, organiza la literatura sobre modelos de lenguaje como instrumentos para percibir o medir atributos psicológicos humanos. Su pregunta es si un LLM puede inferir constructos latentes, personalidad, emoción, estados cognitivos o indicadores de salud mental, a partir de conversación, texto natural o señales multimodales. Los autores estructuran el campo en tres dimensiones: plausibilidad teórica (por qué podría funcionar), metodología de medición (cómo se realiza) y eficacia aplicada (qué se ha medido). La primera recurre a resultados funcionales de teoría de la mente y a la capacidad de simular “sujetos virtuales”; la segunda distingue evaluación activa y conversacional, evaluación pasiva de lenguaje y fusión multimodal; la tercera recorre personalidad y salud mental. La fuente cita 229 referencias únicas y contiene seis tablas: una de teoría de la mente, otra de sujetos virtuales, 24 estudios organizados por paradigma, nueve marcos de personalidad, veinte filas de “tendencias” de rendimiento y quince datasets reales o sintéticos.

La síntesis describe, dentro de la evaluación activa, entrevistas o diálogos adaptativos, prompting con chain-of-thought, ajuste de instrucciones y arquitecturas multiagente que preguntan, aclaran y puntúan. En evaluación pasiva reúne clasificación zero/few-shot, embeddings, RAG, ajuste fino y destilación para inferir rasgos o síntomas desde ensayos, redes sociales y transcripciones. La sección multimodal combina texto con imagen, vídeo, audio, wearables o señales fisiológicas. Para personalidad, repasa Big Five, HEXACO, MBTI, Dark Triad y marcos menos utilizados; para salud mental, incluye detección de depresión, ansiedad, PTSD, emoción y riesgo suicida. El artículo reconoce problemas sustantivos: sensibilidad al prompt, inestabilidad temporal, respuestas socialmente deseables, dificultad con ítems invertidos, alucinación, opacidad, privacidad, sesgo cultural y demográfico, coste, dependencia de proveedores y falta de validación clínica. Su posición final es prudente: bajo condiciones controladas los LLM pueden apoyar tareas estructuradas de inferencia o cribado, pero no alcanzan la fiabilidad e interpretabilidad necesarias para sustituir instrumentos validados o juicio clínico.

La auditoría obliga, sin embargo, a cambiar cómo debe describirse la contribución. Aunque el artículo se llama repetidamente “systematic review”, no informa bases de datos, cadenas de búsqueda, fechas, criterios de inclusión o exclusión, deduplicación, fases de cribado, número de revisores, resolución de desacuerdos, diagrama de flujo, protocolo registrado, formulario de extracción, evaluación de calidad ni riesgo de sesgo. Tampoco publica el inventario completo de estudios seleccionados ni un dataset de extracción. Es por tanto una encuesta narrativa amplia con una taxonomía útil, no una revisión sistemática reproducible. No se puede saber si la cobertura es exhaustiva, qué trabajos fueron descartados o cuánto sesgo de selección afecta a las conclusiones.

También hay mezcla de objetos de estudio. El foco declarado es usar LLM para medir a personas, pero la base teórica y varias aplicaciones incluyen modelos como sujetos virtuales, cuestionarios administrados al propio LLM, role-play de personalidades y simulaciones multiagente. Que un modelo reproduzca respuestas coherentes con una persona o resuelva una prueba de teoría de la mente no demuestra que mida válidamente la personalidad o salud mental de un humano real. Parte de la sección multimodal incluye sentiment analysis sobre productos, eventos o celebridades, y la historia de salud mental incorpora BERT/RoBERTa; eso amplía el alcance más allá de LLM y psicometría humana. Estas líneas son relevantes como contexto, pero no deben agregarse como evidencia equivalente de validez de medida.

La evidencia psicométrica tampoco permite una conclusión cuantitativa uniforme. La tabla de marcos asigna etiquetas High, Moderate-High, Moderate o Low sin rubricar cómo se obtuvieron. La tabla de rendimiento mezcla accuracy, MSE, F1, mejora porcentual, descripciones narrativas, scores de rasgo, acuerdo, R², correlaciones, alfa de Cronbach, varianza explicada y d de Cohen en datasets, tareas y modelos incompatibles, incluidos métodos anteriores a los LLM. Por ello no demuestra una mejora sostenida en el tiempo ni permite ordenar sistemas. En salud mental, el texto habla de validez concurrente parcial porque algunos clasificadores igualan baselines supervisados, pero luego admite que sensibilidad, especificidad en umbrales clínicos, validez predictiva y acuerdo entre modelos están poco estudiados. Accuracy de benchmark no equivale a diagnóstico válido, calibración, beneficio clínico o cribado seguro. La frase “validez moderada” es una valoración narrativa, no un efecto combinado ni una graduación formal de certeza.

Hay además afirmaciones cuantitativas y regulatorias que requieren límites. El ejemplo de coste dice que 10.000 transcripciones de 500 tokens de entrada costarían unos 375 dólares con GPT-4; con el precio que el propio texto cita, 30 dólares por millón de tokens de entrada, cinco millones de tokens son 150 dólares. Como no especifica tokens ni precio de salida, la cifra no se reproduce. En regulación estadounidense, el artículo afirma de forma general que la FDA clasifica como dispositivo el software de apoyo clínico destinado a informar diagnóstico o tratamiento, pero la guía oficial distingue funciones Non-Device CDS que cumplen los cuatro criterios legales de otras funciones que sí son dispositivo. En la UE, “usarse en un contexto sanitario” no basta por sí solo: el artículo 6 de la Ley de IA remite a condiciones de producto/componente de seguridad y evaluación de conformidad del Anexo I o a usos del Anexo III, con excepciones. La guía APA de telepsicología de 2013 sí exige preservar fiabilidad, validez y condiciones de administración al adaptar tests a tecnología, pero no trata LLM ni fundamenta por sí sola la frase más amplia sobre herramientas automatizadas como mero suplemento del juicio clínico. Finalmente, la afirmación absoluta de que ningún evaluador psicológico basado en LLM tiene autorización regulatoria no incluye jurisdicción, registro, definición de producto, fecha ni búsqueda verificable.

La contribución defendible es un mapa conceptual amplio y una advertencia bien orientada sobre los límites actuales. No aporta un nuevo ensayo psicométrico, no hace meta-análisis, no demuestra validez clínica ni exhaustividad de la literatura y no justifica sustituir evaluaciones humanas. Su mejor uso es como puerta de entrada temática y taxonomía provisional, verificando cada estudio primario y tratando sus conclusiones agregadas como narrativas.