Este preprint evalúa si GPT-4o y GPT-4o mini pueden inferir Big Five desde transcripciones de entrevistas semiestructuradas de 102 participantes. Cada persona respondió cinco preguntas sobre el día anterior, una experiencia difícil, afrontamiento, un evento desagradable y uno positivo; las respuestas se unieron a autoinformes BFI-10 y a información sobre síntomas depresivos. El estudio compara dos rutas zero-shot: pedir directamente cinco scores de rasgo entre 1 y 5, o pedir primero los diez ítems BFI-10 y calcular después los rasgos. La muestra está muy desequilibrada: 96 hombres y 6 mujeres, edades 24–56, media 36,63. Antes de enviarlo al modelo, el texto se pasa a minúsculas y se eliminan stopwords y puntuación. Los resultados directos son débiles. Las correlaciones de Pearson con el BFI-10 humano van de −0,090 a 0,185; GPT-4o obtiene 0,098 en extraversión, 0,184 en amabilidad, −0,058 en responsabilidad, 0,025 en neuroticismo y 0,142 en apertura. GPT-4o mini obtiene 0,151, −0,063, −0,019, −0,090 y 0,185. En los diez ítems BFI, ninguna correlación llega a 0,3: el rango conjunto es −0,216 a 0,259. GPT-4o presenta menor sesgo medio absoluto en cuatro ítems y mini en seis, pero esto no es error individual. El paper llama “accuracy” a la diferencia media firmada entre referencia y predicción. Como errores positivos y negativos pueden cancelarse, un promedio cercano a cero no implica predicciones cercanas persona a persona. No se reportan MAE, RMSE, correlación de concordancia, calibración, intervalos, tests ni dispersión de errores. Al reconstruir la Tabla 3, la ruta BFI-10 reduce el valor absoluto de ese sesgo en 7 de 10 combinaciones modelo-rasgo y lo empeora en 3: GPT-4o/extraversión pasa de |−0,514| a |0,598|; mini/responsabilidad de |0,157| a |0,475|; y mini/apertura de |0,162| a |−0,294|. La media no ponderada baja de 0,446 a 0,371, pero sigue siendo sesgo agregado, no MAE. Por ello, las afirmaciones de mejora “significativa” y mayor exactitud no están demostradas. La sección de síntomas divide entre ninguno y al menos uno. El método primero atribuye etiquetas a entrevistas SCID/SCID-5 y después dice que se empleó “una encuesta como PHQ-9”, sin identificar el instrumento exacto ni el criterio. No publica tamaños de grupo; los incrementos de las tablas implican 79 sin síntomas y 23 con síntomas, inferencia aritmética no declarada. Comparar el sesgo medio por grupo no prueba sensibilidad a un cambio depresivo: las distribuciones de referencia pueden diferir y no se contrastan los deltas predichos con los deltas observados, ni hay incertidumbre. “Alineación perfecta” de mini en BFI-4 significa únicamente sesgo medio 0, no igualdad individual. Además, para BFI-9 con síntomas la Tabla 5 muestra menor sesgo en GPT-4o, 1,000 frente a 1,087, pero el texto afirma que mini fue mejor. No se identifican snapshots de los modelos, fecha de ejecución, parámetros de API, seeds, número de repeticiones, parser, fórmula exacta de scoring BFI-10, código ni datos. La conclusión fiel es que, en esta muestra pequeña y sesgada, ambos modelos muestran correlaciones muy bajas con la referencia y sesgos sistemáticos. Imponer el formato BFI-10 modifica y a veces reduce el sesgo de grupo, pero no demuestra exactitud individual, fiabilidad, sensibilidad clínica ni capacidad para evaluar personalidad o depresión.
Pregunta de investigación
¿Con qué fidelidad GPT-4o y GPT-4o mini asignan rasgos Big Five e ítems BFI-10 a partir de cinco respuestas de entrevista, si calcular rasgos desde ítems predichos mejora la comparación con el autoinforme y si el sesgo de las predicciones difiere entre grupos con y sin síntomas depresivos?