El artículo evalúa si dos versiones tempranas de ChatGPT pueden ordenar a usuarios de Facebook según sus rasgos Big Five a partir de texto no etiquetado para esa tarea. Selecciona aleatoriamente 1.000 participantes adultos de MyPersonality que completaron los 100 ítems del IPIP y publicaron al menos 200 estados; la muestra tiene una edad media de 24,2 años y un 63,1 % de mujeres. Para cada persona se concatenan los 200 estados más recientes en diez bloques de 20. GPT-3.5 Turbo 0301 y GPT-4 0314 reciben el prompt “Rate the text on the Big Five personality dimensions”, devuelven cinco puntuaciones de 1 a 5 y repiten cada inferencia tres veces. Los autores promedian repeticiones y bloques, y comparan el resultado con el autoinforme. Las correlaciones de GPT-3.5 van de r = 0,223 a 0,298 y las de GPT-4 de 0,264 a 0,327; las medias son 0,271 y 0,307, respectivamente, y 0,289 al combinar los diez resultados. Esto representa aproximadamente un 5–11 % de varianza compartida por rasgo: existe una señal de ordenación modesta, pero no una lectura precisa de la personalidad individual. GPT-4 obtiene valores numéricamente superiores en los cinco rasgos, aunque ninguna diferencia frente a GPT-3.5 es estadísticamente significativa. Además, las escalas están mal calibradas: GPT-3.5 subestima en promedio conciencia por 1,254 puntos y amabilidad por 1,032 en una escala de 1 a 5; GPT-4 subestima conciencia por 0,690 y sobreestima extraversión por 0,881. Por tanto, la correlación no convierte las salidas en puntuaciones psicométricas intercambiables con el IPIP. Con 20 estados ya aparecen correlaciones de 0,176–0,257; usar 200 las eleva a 0,222–0,327, con beneficios distintos por rasgo. Los análisis sociodemográficos comparan medias y residuos absolutos. Para ambos modelos, los errores absolutos son menores en mujeres en conciencia, amabilidad y neuroticismo; en apertura la diferencia solo aparece en GPT-3.5 y, en extraversión, GPT-4 comete más error en mujeres. Las correlaciones dentro de cada género no difieren significativamente. Por edad, GPT-3.5 tiene más error en personas mayores para apertura y conciencia, pero menos para amabilidad; GPT-4 no muestra diferencias significativas de error absoluto. Así, el titular de mayor precisión para mujeres y jóvenes describe algunos rasgos y métricas, no un patrón general. En 68 personas con evaluaciones de amistades, las correlaciones observador–autoinforme promedian 0,304 y las de observador–LLM 0,269–0,276, pero no se contrasta formalmente su equivalencia. La tabla S6.1 contiene un error verificable: sus intervalos y valores p son idénticos a los de GPT-4 en S6.2 y no corresponden a las correlaciones observador–autoinforme. Por ello, no se sostiene una afirmación fuerte de paridad humana ni de uso de los mismos indicios. El estudio demuestra que estos snapshots captan regularidades textuales asociadas con autoinformes Big Five en una muestra muy seleccionada; no valida un test de personalidad, una inferencia clínica ni una herramienta apta para decisiones individuales. El riesgo más sólido es de privacidad: incluso una señal modesta puede explotarse a escala sin conocimiento del usuario. La reproducibilidad actual es insuficiente: el artículo remite a OSF hq2ra, pero el proyecto devuelve HTTP 401 sin autenticación; una copia archivada muestra que era público y ocupaba 6,4 MB en noviembre de 2024, mientras la fuente arXiv solo contiene manuscrito y figuras, no datos ni código analítico.
Pregunta de investigación
¿Pueden GPT-3.5 y GPT-4 inferir en zero-shot las posiciones relativas de usuarios en los cinco rasgos Big Five a partir de sus estados de Facebook, cómo cambia la asociación con el volumen de texto y varían los errores según género y edad?