LLM-based Multimodal Personality Recognition via Facial Action Unit-Text Semantic Fusion

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Tianyi Zhang, Wei Shan, Yuan Zong, Tianhua Qi, Wenming Zheng

Palabras clave: Apparent personality recognition, Asynchronous video interviews, AVI-6, HEXACO, Facial action units, AU-text semantic fusion, Multimodal assessment, Observer-rated personality, Algorithmic hiring, Measurement validity

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
7
Hallazgos
14
Limitaciones
6
Evidencias

Resumen editorial

Español

Este preprint estudia la predicción automatizada de personalidad aparente en entrevistas de vídeo asíncronas simuladas. No induce una personalidad en un LLM: intenta reproducir puntuaciones asignadas por observadores humanos a candidatos. El sistema extrae con OpenFace intensidades de 17 unidades de acción facial, localiza fotogramas clave mediante cambios globales de píxeles y selecciona por rasgo un subconjunto de AUs con simulated annealing guiado por el MSE de un LSTM. GPT-4o transforma ventanas de siete fotogramas en descripciones de movimientos faciales y resume iterativamente esas descripciones. Después, Meta-Llama-3.1-8B-Instruct fusiona ese texto con la transcripción automática de la respuesta; LoRA y una capa lineal se entrenan para predecir por separado Honesty-Humility, Extraversion, Agreeableness y Conscientiousness. El estudio usa AVI-6 y declara 644 participantes repartidos por persona en 450 entrenamiento, 64 validación y 130 test. La fuente oficial del corpus aclara qué significan las etiquetas: 12 evaluadores con nueve horas de formación aplicaron escalas BARS, ocho valoraciones independientes por participante y cuatro ítems por rasgo; la fiabilidad entre evaluadores va de ICC(1,8)=0,61 a 0,83. Son juicios agregados sobre conducta mostrada en una respuesta de entrevista, no autoinformes HEXACO ni mediciones independientes de rasgos estables. El método obtiene MSE de 0,1555, 0,1380, 0,1597 y 0,1077, con media 0,1402; MAE media 0,2982 y correlaciones de Pearson entre 0,4654 y 0,7258. Frente al Longformer de solo texto del propio artículo, el MSE mejora entre 14,33% y 48,83%. La ablación más informativa es más matizada: añadir las descripciones faciales a la misma arquitectura mejora H, X y C, pero empeora Agreeableness frente a la variante sin AUs, de MSE 0,1390 a 0,1597. Tampoco es el mejor resultado conocido de AVI-6: la publicación del reto informa medias 0,12284 y 0,13724 para sus dos primeras soluciones, aunque la comparación no es completamente controlada porque los documentos discrepan sin explicación entre 644/646 participantes y 450/452 casos de entrenamiento. La contribución defendible es arquitectónica: en este split y con estas características generadas, la fusión ayuda a predecir impresiones de evaluadores en tres de cuatro rasgos respecto a la ablación directa. No demuestra que las AUs revelen personalidad verdadera ni valida las interpretaciones post hoc de sinceridad, empatía o control. La cadena OpenFace→GPT-4o→resumen→Llama introduce varias capas de posible pérdida o invención; no hay evaluación humana de fidelidad semántica y los autores observan alucinaciones de dinámica temporal con ventanas de un solo fotograma. Las tablas ofrecen una sola estimación sin intervalos, distribución entre semillas o baseline ingenuo; no se publican número ni valores de las semillas, y GPT-4o usa parámetros por defecto sin seed. El pseudocódigo de simulated annealing tampoco actualiza el estado cuando acepta una solución peor. No hay código, datos derivados, predicciones, adaptadores ni entorno reproducible. Sobre todo, pese al encuadre de selección laboral, no se analizan errores por género, edad, raza, tono de piel, calidad de cámara u otras intersecciones; tampoco privacidad biométrica, consentimiento, impacto adverso, validez con desempeño laboral o uso real. Debe leerse como experimento de benchmark sobre personalidad aparente, no como evidencia para evaluar o contratar candidatos.

English

This preprint studies automated apparent-personality prediction in simulated asynchronous video interviews. It does not induce a personality in an LLM; it attempts to reproduce scores assigned to candidates by human observers. The pipeline uses OpenFace to extract intensities for 17 facial action units, finds keyframes through whole-frame pixel changes, and selects a trait-specific AU subset through simulated annealing guided by an LSTM's MSE. GPT-4o converts seven-frame AU windows into facial-movement descriptions and iteratively summarizes them. Meta-Llama-3.1-8B-Instruct then fuses that text with an automatic transcript; LoRA and a linear head are trained separately for Honesty-Humility, Extraversion, Agreeableness, and Conscientiousness. The study uses AVI-6 and reports 644 participants split by person into 450 training, 64 validation, and 130 test cases. The official dataset paper clarifies the labels: 12 raters with nine hours of training applied BARS measures, with eight independent ratings per participant and four items per trait; inter-rater reliability ranges from ICC(1,8)=0.61 to 0.83. These are aggregated observer judgments of behavior shown in an interview response, not HEXACO self-reports or independent measurements of stable traits. The method obtains MSEs of 0.1555, 0.1380, 0.1597, and 0.1077, averaging 0.1402; mean MAE is 0.2982 and Pearson correlations range from 0.4654 to 0.7258. Against the paper's Longformer text-only baseline, MSE improves by 14.33% to 48.83%. The most informative ablation is more mixed: adding facial descriptions to the same architecture improves H, X, and C but worsens Agreeableness relative to the no-AU variant, from MSE 0.1390 to 0.1597. It is not the strongest reported AVI-6 result either. The challenge publication reports average MSEs of 0.12284 and 0.13724 for its top two systems, although this is not a fully controlled comparison because the documents disagree without explanation between 644/646 participants and 450/452 training cases. The defensible contribution is architectural: on this split and with these generated features, fusion helps reproduce observer impressions for three of four traits relative to the direct ablation. It does not show that AUs reveal true personality or validate post-hoc labels such as sincerity, empathy, or control. The OpenFace-to-GPT-4o-to-summary-to-Llama chain creates several opportunities for information loss or invention; no human semantic-fidelity study is reported, and the authors observe hallucinated temporal dynamics with single-frame windows. Tables provide one estimate without intervals, seed distributions, or a naive baseline. Seed counts and values are missing, while GPT-4o uses service defaults without a seed. The simulated-annealing pseudocode also fails to update the state when a worse solution is accepted. No code, derived data, predictions, adapters, or reproducible environment is released. Most importantly, despite the hiring frame, the paper reports no error analysis by gender, age, race, skin tone, camera quality, or intersections, and no biometric-privacy, consent, adverse-impact, job-performance-validity, or real-deployment study. It should be read as a benchmark experiment on apparent personality, not evidence for evaluating or hiring candidates.

Pregunta de investigación

¿Mejora la predicción de puntuaciones de personalidad aparente asignadas por evaluadores en AVI-6 cuando descripciones textuales de unidades de acción facial generadas por GPT-4o se fusionan con las transcripciones mediante un LLM ajustado con LoRA?

Método

Estudio supervisado de regresión por rasgo. OpenFace extrae 17 AUs; cambios globales de píxeles localizan fotogramas clave y forman ventanas de siete fotogramas. Un LSTM y simulated annealing seleccionan AUs usando MSE de validación. GPT-4o verbaliza cada ventana y fusiona sus descripciones. Meta-Llama-3.1-8B-Instruct cuantizado a 4 bits recibe ese resumen, la transcripción y la definición HEXACO; LoRA y una capa lineal predicen una puntuación 1-5. Se comparan modelos visuales, textuales, de AUs y de fusión mediante MSE, MAE y correlación de Pearson en cuatro tareas independientes.

Muestra: El preprint usa 644 participantes y declara una división por participante de 450 entrenamiento, 64 validación y 130 test. Cada persona responde seis preguntas; cuatro respuestas distintas activan y etiquetan H, X, A y C por separado. La publicación de AVI-6 informa 307 hombres, 309 mujeres y 28 personas no binarias reclutadas en Prolific, 12 evaluadores entrenados y ocho valoraciones independientes por participante. Existe una discrepancia documental: el abstract de AVI-6 dice 646 participantes y 3.876 vídeos y su split 452/64/130 suma 646, mientras su texto y demografía suman 644; el preprint cambia entrenamiento a 450 sin explicar los dos casos.

Hallazgos

  • El sistema alcanza MSE medio 0,1402, MAE medio 0,2982 y correlación media 0,6000 sobre cuatro rasgos; las correlaciones individuales van de 0,4654 a 0,7258.
  • Frente al Longformer de solo texto, reduce MSE 14,33% en H, 48,83% en X, 22,21% en A y 48,64% en C.
  • En la ablación directa sin descripciones AU, el modelo completo mejora H, X y C, pero empeora Agreeableness 14,89% en MSE y 7,45% en MAE.
  • Qwen-3-VL-8B-Instruct logra mayor correlación en Agreeableness, 0,5589 frente a 0,5154, aunque sus errores absolutos son mucho peores.
  • La ventana de siete fotogramas obtiene la mejor media entre 1, 3, 5, 7 y 9; cinco fotogramas es mejor para Agreeableness.
  • El método no supera las dos mejores medias publicadas del reto AVI-6, 0,12284 y 0,13724, aunque el cambio no explicado del recuento de entrenamiento impide tratarlo como comparación perfectamente controlada.
  • La fuente del corpus confirma que el objetivo es reproducir juicios humanos agregados con fiabilidad moderada-alta, no recuperar una puntuación de personalidad autoinformada.

Limitaciones

  • Las etiquetas son personalidad aparente evaluada en una respuesta elicitada; no se contrastan con autoinforme HEXACO, conducta longitudinal, desempeño laboral ni decisiones de contratación.
  • Solo se modelan cuatro dominios HEXACO; faltan Emotionality y Openness.
  • El preprint omite el número y formación de evaluadores y sus ICC, información necesaria para interpretar el techo y significado del criterio.
  • Los documentos de AVI-6 discrepan entre 644/646 participantes y 450/452 casos de entrenamiento; el preprint no documenta exclusiones ni manifiestos de split.
  • La selección de fotogramas usa cambios globales sin máscara facial, umbral ni distancia mínima, por lo que puede responder a iluminación, cámara, compresión o movimiento de cabeza.
  • No hay evaluación humana que compruebe que las descripciones GPT-4o sean fieles a los AUs; el propio estudio observa alucinación temporal con una ventana de un fotograma.
  • Las decisiones de GPT-4o usan parámetros del servicio por defecto y sin seed; tampoco se informan cantidad o valores de las semillas de entrenamiento y búsqueda.
  • Los resultados son puntos únicos sin intervalos de confianza, cross-validation, distribución entre ejecuciones o comparación con predictor de la media.
  • No queda claro si tamaño de ventana, subconjuntos y otras decisiones se cerraron solo con validación antes de mirar el test.
  • El pseudocódigo de simulated annealing no actualiza el estado al aceptar una peor solución y las fórmulas no especifican casos de rango u overlap cero.
  • Las interpretaciones psicológicas de los AUs se asignan después de una selección guiada por pérdida y no se validan como mecanismos causales o marcadores estables.
  • No se publican código, descripciones generadas, transcripciones, predicciones, seeds, adaptadores, checkpoints, lock de dependencias ni ejecución end-to-end.
  • No hay análisis de fairness, error o fallo de detección por grupos demográficos, tono de piel, calidad de cámara o intersecciones.
  • No se estudian consentimiento, privacidad biométrica, retención, derecho de impugnación, supervisión humana, impacto adverso o reacciones de candidatos.

Qué no demuestra

  • No demuestra que el sistema mida personalidad humana verdadera o estable; predice promedios de observadores sobre conducta en una entrevista simulada.
  • No establece validez convergente con HEXACO autoinformado ni validez predictiva para desempeño laboral.
  • No prueba que expresiones faciales concretas causen o revelen sinceridad, empatía, sociabilidad o control.
  • No demuestra que añadir AUs ayude en todos los rasgos; empeora Agreeableness frente a la ablación sin AUs.
  • No establece estado del arte en AVI-6; dos soluciones del reto publican menor MSE medio.
  • No evalúa los seis dominios HEXACO ni permite generalizar a Emotionality u Openness.
  • No demuestra interpretabilidad del predictor final; que exista prosa intermedia legible no explica la representación LoRA ni la capa de regresión.
  • No demuestra equidad ni seguridad para contratación, porque no hay métricas por grupo, impacto adverso, validación operativa o estudio con solicitantes reales.
  • No permite reproducción exacta de resultados ni de las características de entrada generadas por GPT-4o.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.29900v1

Fuente consultada: https://arxiv.org/pdf/2606.29900

Revisión: Codex 19-page full-text visual, TeX, supplement, eight-page source-dataset, construct, benchmark, semantic-fidelity, statistical, fairness, artifact, reproducibility and claim audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • GPT-4o (gpt-4o-2024-11-20) for AU semantic generation
  • Meta-Llama-3.1-8B-Instruct with 4-bit quantization and LoRA
  • Qwen-3-VL-8B-Instruct zero-shot baseline
  • Longformer text and AU-semantic baselines
  • ResNet video baseline
  • Vision Transformer video baseline
  • BERT fusion baseline
  • LSTM AU-selection and AU-only baseline

Instrumentos y métricas

  • AVI-6 four trait-eliciting asynchronous interview questions
  • Behavioral Anchored Response Scales with four items per trait
  • OpenFace dynamic facial action unit extraction
  • Whole-frame motion keyframes and seven-frame AU windows
  • Simulated annealing and Pareto/Utopia AU selection
  • Three published prompt templates for AU verbalization, iterative summary and trait embedding
  • HEXACO-PI-R trait definitions
  • Mean squared error, mean absolute error and Pearson correlation

Datos utilizados

  • AVI-6 mock asynchronous video interviews
  • Unreleased automatic transcripts
  • Unreleased GPT-4o local and global AU descriptions
  • Unreleased model predictions and checkpoints

Evidencia y localización

  • Estado de preprint, autores y fecha de la versión: Official arXiv record 2606.29900v1, checked 2026-07-16
  • Arquitectura, OpenFace, keyframes, selección de AUs y predicción Llama-LoRA: arXiv v1, Sections III-IV and Algorithms 1-3
  • Prompts completos y definiciones de AUs: arXiv v1, Supplementary Material, pages 17-19
  • MSE, MAE, correlaciones, ablations y tamaños de ventana: arXiv v1, Sections V-VI, Tables I-V and Figures 5-8
  • Participantes, demografía, split, BARS, evaluadores, ICC y resultados oficiales de AVI-6: ACM MM 2025 dataset/challenge paper, DOI 10.1145/3746027.3762016, Sections 3-4 and Tables 1-2
  • Auditoría consolidada de constructo, split, SOTA, semántica, estadística, fairness y reproducibilidad: reports/verification/article-289-arxiv-avi6-observer-label-split-sota-semantic-hallucination-fairness-reproducibility-and-claim-audit.json