Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality?

This preprint introduces Grounded Personality Reasoning (GPR) to test whether a multimodal model not only matches a Big Five label but also explains the decision and retrieves the behavioral cues selected by the benchmark. The construct boundary is essential: MM-OCEAN inherits aggregated apparent-personality ratings from ChaLearn First Impressions V2, using roughly 15-second videos of one English-speaking person. T1 therefore measures agreement with crowd-sourced first impressions, not the subject's stable or true personality and not diagnostic validity. The public corpus contains 1,104 valid unique JSON records, transcripts, 13,430 observations, 5,520 trait analyses, and 5,320 six-option questions; videos are not redistributed. The described pipeline uses an Observer to draft cues; 24 annotators to accept, correct, delete, and localize Expression/Action cues; a Psychologist that receives observations and the ground-truth score before writing five rationales; an Examiner that generates seven MCQ types; a code/LLM Aligner; and a filter that removes an item only when both GPT-4o-mini and Gemini Flash solve it without video, followed by expert review. The paper reports 45,609 campaign-level cue judgments, 78.2% accepted, 14.6% corrected, 5.9% deleted, 605 added, and 77% raw agreement on 147 complete pairs from a 199-video overlap pool. It does not report chance-corrected agreement, the expert-panel size, or per-item expert decisions. T1 is exact five-level rating and ordinal MAE; T2 is five explanations scored 1-10 by GPT-4o-mini for evidence coverage, logical coherence, grounding accuracy, and directional accuracy; T3 is accuracy on attribution, counterfactual, temporal-causal, mixed-emotion, micro-expression, spatial, and temporal-spatial MCQs. PR is T3 failure conditional on T1 pass; CR is T2 failure conditional on T1 pass; IR is T1 failure conditional on T3 pass; HR requires all three to pass on the same video. Twenty-seven MLLMs are evaluated, 13 API models and 14 open models served with vLLM on H200s, but the uniform frame count and a complete executable model/API version manifest are absent. The main table reports mean PR 51.3% and mean HR 10.4%. The 51.3% value is the arithmetic mean of 27 model-level conditional rates, not a released pooled count of all correct predictions. Gemini 3 Flash leads HR at 33.5% (T1 64.1, T2 6.65, T3 66.5, PR 17.2), followed by GPT-5.5 at 28.0 and Gemini 3.1 Pro at 27.4. The defensible finding is that apparent-label accuracy and success on the authors' grounding MCQs can diverge under their private outputs and thresholds. It is not evidence of demographic prejudice: PR is the name of a failure on predefined questions and can reflect cue and distractor design. Artifact inspection finds issues that prevent treating the leaderboard as reproduced. After filtering, videos contain 1-7 MCQs: 11 have one, 38 two, 126 three, 265 four, 298 five, 257 six, and 109 seven. This contradicts the datasheet claim that videos with fewer than three are dropped and its statement that each instance has seven questions. The appendix calls theta3=.5 '4 of 7', while evaluate.py applies >=.5 to the questions present: 1/1, 1/2, 2/3, 2/4, 3/5, 3/6, or 4/7 passes. For even counts, exactly half passes despite not being a strict majority, so PR, IR, and HR vary in difficulty with retained question count. In 144 of 5,520 trait cases across 138 videos, personality_analyses.level disagrees with the level evaluate.py derives from original_scores. All are within .005 of a threshold: analyses follow rounded two-decimal scores while the evaluator uses raw values and different boundary semantics. T1 and T2 references are inconsistent for 2.6% of cases. The paper and Psychologist prompt promise traceable observation IDs and re-querying when evidence is absent; the release has no evidence_obs_ids, and all 5,520 evidence_bboxes arrays are empty. Rationales contain prose but no structured link back to observations. Answer keys are non-uniform: A 13.46%, B 17.37%, C 15.62%, D 15.86%, E 18.08%, F 19.61%; chi-square against uniform is 73.93, p=1.55e-14. Always choosing F scores 19.61%, above the paper's 16.7% uniform baseline, so position-bias analysis must distinguish model bias from benchmark skew. The text filter also cannot prove that every retained item requires video: questions solved by one filter model, other text models, or untested shortcuts can remain, and filter outputs are not released. The PDF contains larger result inconsistencies. Its question-difficulty table sums to 8,475 questions rather than 5,320; 153 is 1.8% of 8,475 but 2.88% of the released corpus. Every appendix T1 exact value differs from the main leaderboard, for example 63.4 versus 64.1 for Gemini 3 Flash, 55.3 versus 56.0 for GPT-5.5, and 56.6 versus 57.3 for Gemini 3.1 Pro. Raw predictions are absent, so the correct result version cannot be determined. The repository does not reproduce the pipeline end to end. unified.py accesses q.options and q.question as attributes although released MCQs are dictionaries, causing AttributeError. evaluate.py advertises --judge and --judge_model but argparse implements neither. judge.py asks for five dimensions including overall_quality while the paper and scorer average four. README promises RGM, but evaluate.py never computes it. There is no model runner, video preprocessing, API client, dependency lockfile, output set, judge log, per-video score, table-generation script, test, or CI. README schema examples also drift from the data: bboxes are shown as arrays and options as strings, but both are objects in the corpus. Reported cross-judge correlations of .94 and .92 on 200 videos support ranking stability under that check, but do not remove ground-truth conditioning; the paper itself finds GPT-4o-mini scores its own family about one point higher. Finally, the introduction overstates the EU AI Act. Annex III does list specified high-risk education and employment uses; Article 86 grants clear explanations of the system's role and main elements for certain adverse decisions with legal or similarly significant effects. It does not literally mandate an evidence trail for every prediction or classify every personality-based system solely on that basis. The useful contribution is a multi-stage evaluation design and an inspectable annotation corpus. The leaderboard is not independently reproduced, and the work does not validate true personality, fairness, causal grounding, or suitability for decisions about people.

Este preprint propone Grounded Personality Reasoning (GPR) para comprobar si un modelo multimodal no solo acierta una etiqueta Big Five, sino que explica su decisión y recupera los indicios conductuales elegidos por el benchmark. La frontera conceptual es esencial: MM-OCEAN hereda de ChaLearn First Impressions V2 puntuaciones agregadas de personalidad aparente en vídeos de unos 15 segundos, con una persona hablando en inglés. Por tanto, T1 mide acuerdo con primeras impresiones crowdsourced, no la personalidad estable o verdadera del sujeto ni validez diagnóstica. El corpus público contiene 1.104 JSON válidos y únicos, transcripciones, 13.430 observaciones, 5.520 análisis de rasgo y 5.320 preguntas de seis opciones. Los vídeos no se redistribuyen. El pipeline descrito usa un Observer para proponer indicios; 24 anotadores para aceptar, corregir, borrar y localizar Expression/Action; un Psychologist que recibe las observaciones y el score ground truth antes de redactar cinco racionales; un Examiner que genera siete tipos de MCQ; un Aligner de código y LLM; y un filtro que elimina una pregunta solo si GPT-4o-mini y Gemini Flash la resuelven ambos sin vídeo, seguido de revisión experta. Los autores reportan 45.609 indicios juzgados durante la campaña, 78,2% aceptados, 14,6% corregidos, 5,9% eliminados, 605 añadidos y acuerdo bruto del 77% en 147 pares completos de un pool de 199. No publican kappa, el número del panel experto ni sus decisiones por ítem. Las tareas son: T1, nivel ordinal exacto y MAE para cinco rasgos; T2, cinco explicaciones puntuadas de 1 a 10 por GPT-4o-mini en cobertura, coherencia, grounding y dirección; y T3, precisión en MCQ de atribución, contrafactual, causal-temporal, emoción mixta, microexpresión, localización espacial y localización temporal-espacial. PR es T3 fallido condicionado a T1 aprobado; CR, T2 fallido condicionado a T1 aprobado; IR, T1 fallido condicionado a T3 aprobado; y HR exige aprobar los tres en el mismo vídeo. Se evalúan 27 MLLM, 13 API y 14 abiertos servidos con vLLM/H200, pero no se fija el número de frames uniformemente muestreados ni se publica un manifiesto ejecutable de versiones y llamadas. La tabla principal informa una media de PR de 51,3% y HR de 10,4%. Ese 51,3 es la media aritmética de 27 tasas condicionales por modelo, no un recuento público y agrupado de todas las predicciones correctas. Gemini 3 Flash encabeza HR con 33,5% (T1 64,1; T2 6,65; T3 66,5; PR 17,2), seguido de GPT-5.5 con 28,0 y Gemini 3.1 Pro con 27,4. El hallazgo defendible es que, bajo las salidas y umbrales privados de los autores, acertar etiquetas aparentes y resolver sus MCQ de grounding son capacidades separables. No equivale a demostrar prejuicio demográfico: PR es el nombre de un fallo en preguntas predefinidas y puede reflejar qué indicios y distractores eligió el pipeline. La auditoría del artefacto encuentra problemas que impiden tomar todas las cifras como reproducidas. Tras el filtro quedan entre 1 y 7 MCQ por vídeo: 11 vídeos tienen una, 38 dos, 126 tres, 265 cuatro, 298 cinco, 257 seis y 109 siete. Esto contradice el datasheet, que dice descartar vídeos con menos de tres y también describe siete preguntas por instancia. El apéndice llama a theta3=0,5 «4 de 7», mientras evaluate.py calcula >=0,5 sobre las preguntas presentes: aprueban 1/1, 1/2, 2/3, 2/4, 3/5, 3/6 o 4/7. Para cantidades pares, acertar exactamente la mitad pasa aunque no sea mayoría. Así, PR, IR y HR cambian de dificultad según cuántas preguntas sobrevivieron. Hay además 144 de 5.520 niveles de rasgo, distribuidos en 138 vídeos, donde personality_analyses.level no coincide con el nivel que evaluate.py deriva del score original. Todos están a 0,005 o menos de un umbral: el análisis usa el score redondeado a dos decimales y el evaluador el valor crudo con límites distintos. T1 y la referencia de T2 quedan incoherentes en el 2,6% de los casos. El paper y el prompt del Psychologist prometen IDs de observación trazables y reintento si falta evidencia; el release no contiene evidence_obs_ids y los 5.520 evidence_bboxes están vacíos. Los racionales tienen texto, pero no conservan el enlace estructurado al indicio. La clave de respuestas tampoco es uniforme: A 13,46%, B 17,37%, C 15,62%, D 15,86%, E 18,08% y F 19,61%; el contraste contra uniforme da chi-cuadrado 73,93, p=1,55e-14. Elegir siempre F obtiene 19,61%, por encima del baseline uniforme de 16,7%, por lo que el análisis de sesgo posicional necesita separar sesgo del modelo y sesgo del benchmark. El filtro textual tampoco prueba que cada ítem retenido requiera vídeo: conserva preguntas resueltas por uno de los dos modelos, por otros modelos o por atajos no ensayados, y no libera los resultados del filtro. El PDF tiene inconsistencias de resultados más graves. Su tabla de dificultad suma 8.475 preguntas, no 5.320; 153 es 1,8% de 8.475 pero 2,88% del corpus liberado. Además, los 27 valores de exactitud T1 del apéndice difieren de la tabla principal: por ejemplo, Gemini 3 Flash figura como 63,4 frente a 64,1, GPT-5.5 como 55,3 frente a 56,0 y Gemini 3.1 Pro como 56,6 frente a 57,3. Sin predicciones raw no se puede decidir qué versión es correcta. El repositorio tampoco reproduce el pipeline. unified.py usa q.options y q.question como atributos, pero los MCQ publicados son diccionarios, y falla con AttributeError. evaluate.py anuncia --judge y --judge_model, pero argparse no los implementa. judge.py solicita cinco dimensiones, incluido overall_quality, aunque el paper y el scorer promedian cuatro. El README promete RGM, pero evaluate.py no lo calcula. No hay runner de modelos, preprocesamiento de vídeo, clientes API, requirements/lockfile, outputs, judge logs, scores por vídeo, scripts de tablas, tests ni CI. El esquema README tampoco coincide: muestra bboxes como arrays y options como strings, mientras el corpus usa objetos. La robustez cruzada del judge, rho 0,94 y 0,92 en 200 vídeos, apoya estabilidad de ranking reportada, pero no elimina el condicionamiento al ground truth; el propio paper detecta que GPT-4o-mini da aproximadamente un punto extra a su familia. Finalmente, la introducción sobreinterpreta la Ley de IA europea. El Anexo III sí enumera usos concretos de alto riesgo en educación y empleo; el artículo 86 concede explicaciones claras sobre el papel del sistema y los elementos principales de ciertas decisiones adversas con efectos jurídicos o similares. No exige literalmente un «rastro de evidencia para cada predicción» ni clasifica cualquier sistema «basado en personalidad» por esa sola razón. La contribución útil es el diseño de una evaluación multietapa y un corpus anotado inspeccionable. No queda reproducido el leaderboard, no se valida personalidad real, justicia, causalidad del grounding ni idoneidad para decisiones sobre personas.