Can LLMs Assess Personality? Validating Conversational AI for Trait Profiling

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Andrius Matšenas, Anet Lello, Tõnis Lees, Hans Peep, Kim Lilii Tamm

Palabras clave: Personality, Persona conditioning, Psychometrics

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
8
Hallazgos
25
Limitaciones
4
Evidencias

Resumen editorial

Español

El preprint estudia si una conversación guiada puede producir perfiles Big Five comparables con el IPIP-50. Treinta y tres participantes de conveniencia completan primero veinte conversaciones breves con Gemini 2.5 Flash, cuatro preguntas por rasgo y normalmente cero o un follow-up, y después el cuestionario IPIP-50. Otro componente LLM recibe los veinte diálogos, asigna scores 0-120 y confianza a los cinco rasgos y el sistema normaliza ambos métodos a 0-100. Al final, cada participante valora la precisión percibida de cada resultado y elige su método preferido. El orden de métodos, bloques de rasgo y preguntas es fijo; no hay contrabalanceo, cegamiento, perfil falso, entrevistador humano ni condición conversacional no adaptativa.

El paper reporta correlaciones entre los scores conversacionales e IPIP de 0,38 en amabilidad, 0,42 en responsabilidad, 0,58 en extraversión, 0,44 en neuroticismo y 0,46 en apertura. Con N=33, sus intervalos de Fisher recalculados son amplios, aproximadamente [.042,.640], [.090,.667], [.296,.770], [.114,.681] y [.139,.694], y la varianza compartida observada queda entre 14% y 34%. Las comparaciones pareadas de score dan p=.002, .036, .084, .485 y .441 para amabilidad, extraversión, responsabilidad, apertura y neuroticismo; las de precisión percibida dan p=.745, .144, .297, .586 y .686. Los participantes puntúan ambos métodos alrededor de 4/5 y la mayoría prefiere conversar, pero no se publican medias exactas, desviaciones, diferencias, intervalos o datos emparejados.

La afirmación de equivalencia del abstract no está sustentada: no se ejecuta TOST ni otra prueba de equivalencia, no existe margen y un resultado no significativo no demuestra igualdad. Tras Bonferroni para los cinco tests de score, solo la diferencia de amabilidad conserva significación a alfa=.01; extraversión no. La tabla solo muestra p-values, sin t, grados de libertad, efectos, intervalos ni diagnósticos. Tampoco se reportan fiabilidad del IPIP en esta muestra, test-retest, repetición del scorer, validez factorial o discriminante, calibración o criterio externo. Las ratings de precisión son impresiones no cegadas, expuestas a demanda y efecto Barnum. El análisis PCA usa aproximadamente 21 variables con 33 personas y el clustering omite escalado, distancia, linkage y estabilidad, por lo que sus perfiles y asociaciones con edad son exploratorios.

No hay datos, transcripciones, código, salidas, scripts, logs de llamadas, preregistro ni artefacto público; tampoco se especifican snapshot del modelo, parámetros, fórmula de normalización, reverse scoring o tratamiento de missingness. El anexo ético declara consentimiento, acceso restringido y eliminación de identificadores, pero no identifica comité o aprobación ni explica el procesamiento de narrativas potencialmente sensibles por Gemini o cómo se aplica la afirmación de no compartir PII con terceros. La contribución defendible es un piloto pequeño que muestra asociación moderada y buena aceptación de una interfaz conversacional para recabar autodescripciones. No valida sustitución del IPIP-50, medición de conducta observada, equivalencia entre métodos ni uso en contratación, terapia, educación, citas u otras decisiones de alto impacto.

English

The preprint asks whether a guided conversation can produce Big Five profiles comparable to IPIP-50. Thirty-three convenience participants first complete twenty brief conversations with Gemini 2.5 Flash, four questions per trait and usually zero or one follow-up, and then answer IPIP-50. A separate LLM component receives all twenty dialogues, assigns 0-120 trait scores and confidence, and the system normalizes both methods to 0-100. Participants then rate the perceived accuracy of each result and choose their preferred method. Method order, trait blocks, and questions are fixed; there is no counterbalancing, blinding, false profile, human interviewer, or nonadaptive conversational condition.

The paper reports conversation-IPIP correlations of .38 for Agreeableness, .42 for Conscientiousness, .58 for Extraversion, .44 for Neuroticism, and .46 for Openness. At N=33, recalculated Fisher intervals are wide, approximately [.042,.640], [.090,.667], [.296,.770], [.114,.681], and [.139,.694], and observed shared variance is only 14%-34%. Paired score comparisons give p=.002, .036, .084, .485, and .441 for Agreeableness, Extraversion, Conscientiousness, Openness, and Neuroticism; perceived-accuracy comparisons give p=.745, .144, .297, .586, and .686. Participants rate both approaches around 4/5 and most prefer conversation, but exact means, standard deviations, differences, intervals, and paired observations are not published.

The abstract's equivalence claim is unsupported: no TOST or other equivalence procedure is run, there is no margin, and a nonsignificant result does not demonstrate equality. After Bonferroni across the five score tests, only the Agreeableness difference remains significant at alpha=.01; Extraversion does not. The table provides p-values alone, without t statistics, degrees of freedom, effects, intervals, or diagnostics. The study also reports no IPIP reliability in this sample, test-retest assessment, repeated scorer runs, factor or discriminant validity, calibration, or external criterion. Accuracy ratings are unblinded impressions vulnerable to demand and Barnum effects. PCA appears to use roughly 21 variables for 33 people, and clustering omits scaling, distance, linkage, and stability, so its profiles and age patterns remain exploratory.

No data, transcripts, code, outputs, analysis scripts, call logs, preregistration, or public artifact is available; the model snapshot, parameters, normalization formula, reverse scoring, and missingness handling are also unspecified. The ethics appendix describes consent, restricted access, and identifier deletion, but does not name an ethics committee or approval and does not explain how potentially sensitive narratives were processed through Gemini or how its no-third-party-PII statement applies. The defensible contribution is a small pilot showing moderate association and favorable acceptance of a conversational interface for eliciting self-description. It does not validate replacement of IPIP-50, measurement of observed behavior, equivalence between methods, or deployment in hiring, therapy, education, dating, or other high-impact decisions.

Pregunta de investigación

¿Hasta qué punto los scores Big Five inferidos por un LLM a partir de veinte conversaciones breves convergen con el IPIP-50 y son percibidos por los mismos participantes como igual de precisos o preferibles?

Método

Diseño intra-sujeto con orden fijo en 33 participantes de conveniencia: veinte conversaciones breves, cuatro por cada Big Five, con Gemini 2.5 Flash; scoring LLM conjunto de las transcripciones a escala 0-120; IPIP-50 posterior; normalización a 0-100; ratings 1-5 de precisión percibida y preferencia global. Análisis mediante diez t-tests pareados, cinco correlaciones homólogas, PCA y clustering jerárquico.

Muestra: Treinta y tres participaciones completas reclutadas mediante redes sociales y canales universitarios; objetivo inicial 100 y mínimo absoluto 30. El texto describe una muestra mayoritariamente joven, educada y familiarizada con tecnología, pero no publica tabla demográfica, número de inicios, abandonos, exclusiones, compensación o flujo de participantes.

Hallazgos

  • Las correlaciones homólogas conversación-IPIP van de r=.38 a r=.58 y comparten aproximadamente 14%-34% de varianza observada.
  • Los intervalos de confianza recalculados para N=33 son amplios y compatibles con asociaciones bastante menores que los puntos estimados.
  • Los p-values de diferencia de score son .002, .036, .084, .485 y .441 para amabilidad, extraversión, responsabilidad, apertura y neuroticismo.
  • Con Bonferroni para cinco tests de score, solo amabilidad sigue siendo significativa a alfa=.01.
  • Los cinco tests de precisión percibida son no significativos, pero eso no demuestra equivalencia de percepción.
  • Ambos métodos reciben ratings cercanas a 4/5 y la mayoría declara preferir la conversación.
  • El estudio reporta PCA con 32,45%, 17,38% y 12,88% en los tres primeros componentes, 62,70% combinado.
  • Los resultados apoyan convergencia preliminar y aceptación de interfaz, no intercambiabilidad psicométrica.

Limitaciones

  • Muestra de conveniencia de N=33, muy inferior al objetivo de 100 y sin potencia a priori basada en un efecto.
  • No se publica flujo de participantes, attrition, exclusiones ni demografía cuantificada.
  • Conversación siempre antes del IPIP y bloques de rasgo siempre en el mismo orden.
  • No hay randomización, contrabalanceo, cegamiento ni controles de perfil falso o genérico.
  • No hay baseline de preguntas abiertas fijas que permita aislar el valor del follow-up adaptativo.
  • Appendix A limita el intercambio a uno o dos mensajes de participante, mientras Methods permite hasta diez.
  • El propósito general de evaluación por IA se revela antes de responder y puede inducir demanda.
  • El scorer observa autodescripciones, no conducta externa e independiente.
  • Se desconoce la identidad exacta del scorer y faltan snapshot, fecha, parámetros, seeds, retries y controles de seguridad.
  • La escala 0-120 y sus umbrales son definidos por el estudio y no se justifican psicométricamente.
  • No se publican las fórmulas de normalización, reverse scoring o tratamiento de datos faltantes.
  • No se informa alfa, omega, estructura factorial o error de medida del IPIP-50 en la muestra.
  • No hay test-retest, repetición de scoring, fiabilidad intermodelo o comparación con evaluador humano.
  • Las correlaciones homólogas no se acompañan de matriz cross-trait ni validez discriminante.
  • No hay criterio conductual externo, calibración o validez predictiva.
  • Los diez t-tests no tienen control de multiplicidad y Table 1 publica solo p-values.
  • Ausencia de diferencia significativa se interpreta incorrectamente como equivalencia.
  • Las ratings 1-5 se analizan con t-test sin distribución, efectos o intervalos y miden percepción, no precisión objetiva.
  • No hay control para efectos Barnum/Forer, deseabilidad social o preferencia por una interfaz más atractiva.
  • PCA con unas 21 variables y 33 personas carece de ratio y reporting suficientes para una estructura estable.
  • Clustering omite métrica de distancia, linkage, escalado, estabilidad y validación externa.
  • Comparaciones con trabajos previos mezclan instrumentos, muestras, textos y modelos distintos sin test formal.
  • No se evalúan fairness, sesgo de subgrupo, adverse impact o seguridad de usos de alto riesgo.
  • No se publica aprobación o exención ética identificable ni detalle del procesamiento de narrativas por el proveedor.
  • No hay datos, transcripciones, código, análisis, outputs, logs, preregistro o artefactos públicos.

Qué no demuestra

  • No establece equivalencia estadística o intercambiabilidad entre conversación e IPIP-50.
  • No valida el sistema como sustituto de una evaluación psicométrica profesional.
  • No establece que el LLM mida conducta observada; interpreta autodescripciones conversacionales.
  • No demuestra que el follow-up dinámico mejore el perfil frente a preguntas abiertas no adaptativas.
  • No demuestra fiabilidad, validez factorial, discriminante, predictiva o incremental.
  • No demuestra precisión clínica, laboral, educativa o relacional ni seguridad en decisiones de alto impacto.
  • No generaliza a poblaciones representativas, idiomas, culturas, modelos o configuraciones distintas.
  • No permite reproducir los resultados cuantitativos con materiales públicos.
  • No resuelve privacidad, gobernanza o fairness del análisis automatizado de narrativas personales.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2602.15848v1, submitted and last updated 2026-01-23; CC BY 4.0

Fuente consultada: https://arxiv.org/abs/2602.15848

Revisión: Codex 13-page visual full-text, complete arXiv source, conversational design, IPIP comparison, equivalence, multiplicity, correlation uncertainty, scale, reliability, PCA, clustering, privacy, artifact and claim-boundary audit, 2026-07-18

Aprobación: Codex fidelity pass, 2026-07-18

Modelos evaluados

  • Gemini 2.5 Flash como componente conversacional, sin identificador inmutable, fecha de servicio ni configuración completa
  • LLM de scoring no identificado de forma inequívoca, sin snapshot, parámetros ni evaluación de repetibilidad

Instrumentos y métricas

  • Veinte preguntas conversacionales fijas, cuatro por cada rasgo Big Five
  • Follow-up dinámico, descrito como máximo uno en Appendix A pero hasta diez mensajes de usuario en Methods
  • Prompt de scoring Big Five con facetas, evidencia textual, confianza y escala 0-120
  • International Personality Item Pool IPIP-50, diez ítems de cinco puntos por rasgo
  • Ratings 1-5 de precisión percibida por rasgo y método
  • Preferencia global entre conversación e IPIP-50
  • t-tests pareados sin corrección por multiplicidad
  • Correlaciones Pearson homólogas sin matriz discriminante
  • PCA y clustering jerárquico exploratorios

Datos utilizados

  • Datos de 33 participantes descritos pero no publicados
  • Veinte transcripciones conversacionales por participante no publicadas
  • Scores IPIP, scores LLM, ratings y preferencia individuales no publicados
  • No se localizó repositorio, dataset, preregistro o suplemento público

Evidencia y localización

  • Diseño, procedimiento, preguntas, scoring, resultados, figuras, tablas, discusión y anexos: arXiv:2602.15848v1, all 13/13 PDF pages rendered and individually inspected
  • Versión, fecha, autoría, categorías y licencia: Official arXiv abstract and Atom metadata inspected 2026-07-18
  • Fuente completa, prompts impresos y ausencia de artefactos ocultos: Complete official arXiv v1 source archive sha256 d64000b866ca3556f66021c63f83fe8126248e43071e5ad6e4a0fad7d3c33d59; main.tex sha256 ca6c420e0ee8df7afd1190d87e8ed133a32290641ce85a40079334ece4aec199
  • Auditoría de equivalencia, multiplicidad, correlaciones, escalas, fiabilidad, orden, ética, privacidad, artefactos y límites: reports/verification/article-402-conversational-selfreport-equivalence-multiplicity-scale-reliability-privacy-artifact-and-claim-audit.json