Evaluating the ability of large language models to emulate personality

Este artículo de Scientific Reports evalúa si GPT-4 puede reconstruir respuestas al IPIP-BFM-50 al representar perfiles humanos definidos por sus cinco puntuaciones Big Five. En la simulación 1 se filtra la base OpenPsychometrics hasta 603.322 casos completos sin IP duplicada y se muestrean 400 con semilla 42. Para cada persona, el prompt entrega explícitamente a la versión de marzo de 2023 de GPT-4 las puntuaciones de extraversión, amabilidad, responsabilidad, estabilidad emocional y apertura, cada una entre 0 y 40; en el turno siguiente se le pide contestar los mismos 50 ítems que originaron esas puntuaciones. Este diseño prueba si el modelo convierte cinco objetivos agregados en respuestas coherentes con la clave del inventario, no si infiere personalidad ni si emula a una persona desde datos independientes. La propia respuesta cualitativa de GPT-4 explicita el mecanismo: asigna cada ítem a su dimensión y responde de acuerdo con el score predeterminado. Por ello, los resultados altos son esperables y parcialmente circulares. Los alfas de las respuestas generadas son 0,97–0,99 frente a 0,79–0,89 en humanos; las correlaciones entre puntuación humana proporcionada y reconstruida son 0,90–0,94. Las medias no se preservan por completo: GPT-4 baja responsabilidad d=−0,40, estabilidad emocional d=−0,66, extraversión d=−0,20 y apertura d=−0,33; amabilidad difiere solo d=0,03. La EFA humana y la generada se fuerzan a cinco factores con minres y rotación oblimin. El análisis paralelo recomienda seis factores para humanos, el sexto marginal, y cinco para GPT-4. Las cargas objetivo generadas promedian 0,87–0,95 frente a 0,52–0,65 humanas y casi no tienen cargas cruzadas. Esto muestra una codificación estereotipada y ortogonal de la clave: una estructura más «pura» que la humana no es superior realismo, porque elimina covariación, ambigüedad, facetas y error que forman parte de los datos humanos. En la simulación 2 se muestrean 400 británicos de 50 años con IPIP completo de NCDS y se reparten, 100 perfiles distintos por grupo, entre cuatro prompts: solo puntuaciones, edad 50, país Reino Unido, o ambos. De nuevo se entregan las cinco puntuaciones y se solicita el mismo IPIP-50. Los alfas generados son 0,92–0,99 y la convergencia cae a un rango 0,75–0,95; amabilidad es la más baja. Las medias cambian d=0,22 en responsabilidad, 0,41 en amabilidad, −0,35 en estabilidad, 0,07 en extraversión y 0,37 en apertura. El suplemento contradice la narrativa de réplica factorial: sus Figuras S3 y S4 recomiendan seis factores tanto en humanos como en GPT-4, pero las tablas resumen una solución impuesta de cinco. En regresiones que controlan las cinco puntuaciones humanas, incluir edad eleva responsabilidad β=0,16, estabilidad β=0,12 y apertura β=0,14; incluir país reduce estabilidad β=−0,09 y extraversión β=−0,14. La interacción edad×amabilidad es −0,15 y país×extraversión 0,18; el texto atribuye erróneamente este segundo efecto a edad. Los incrementos de R² ajustado por interacciones son de −0,001 a 0,008: estadísticamente pequeños. Para la llamada validez criterial, se correlacionan los scores humanos o reconstruidos con salud, implicación laboral, calidad de vida y bienestar que ya pertenecen a los humanos de NCDS. GPT-4 no genera esos resultados ni comportamiento externo. Como los scores emulados son transformaciones de los scores humanos suministrados, conservar parte de sus correlaciones no es predicción independiente. Además, cada condición contiene personas distintas, n≈100, por lo que comparar correlaciones entre condiciones mezcla el prompt demográfico con variación muestral; los intervalos son amplios y el paper no documenta pruebas directas o corrección por multiplicidad. Sin perturbación, por ejemplo, responsabilidad humana correlaciona 0,33/0,45/0,51 con salud/calidad/bienestar y su reconstrucción 0,24/0,40/0,41; estabilidad humana 0,32/0,51/0,53 y reconstruida 0,21/0,42/0,42. El país produce algunas aproximaciones mayores, pero no un patrón uniforme. La Figura 1 principal duplica visualmente los cuatro paneles de «Age Setting» bajo «Age & Country Setting», aunque las Tablas S15 y S17 contienen valores diferentes. No se especifican snapshot exacto de GPT-4, temperatura, seed del modelo, reintentos, fallos de formato, variabilidad temporal o replicación en otro modelo. En conclusión, el artículo demuestra steerability para expandir scores Big Five explícitos en respuestas IPIP altamente consistentes. No demuestra agentes realistas, emulación de individuos, personalidad persistente ni conducta predictiva; la perfección factorial es precisamente evidencia de que GPT-4 simplifica la estructura humana.

This Scientific Reports paper tests whether GPT-4 can reconstruct IPIP-BFM-50 responses while role-playing profiles defined by five human Big Five scores. Simulation 1 filters OpenPsychometrics to 603,322 complete cases without duplicate IP submissions and samples 400 using seed 42. For each person, the prompt explicitly gives the March 2023 version of GPT-4 their Extraversion, Agreeableness, Conscientiousness, Emotional Stability, and Openness scores, each from 0 to 40; the next turn asks it to answer the same 50 items from which those scores were computed. This tests whether the model can expand five aggregate targets into scoring-key-consistent responses, not whether it infers personality or emulates a person from independent information. GPT-4's own qualitative explanation states the mechanism: it maps each item to a dimension and answers according to the predetermined score. The high results are therefore expected and partly circular. Generated responses have alpha=.97–.99 versus .79–.89 for humans, and correlations between the supplied human score and reconstructed score are .90–.94. Means are not fully preserved: GPT-4 lowers Conscientiousness by d=−.40, Emotional Stability by d=−.66, Extraversion by d=−.20, and Openness by d=−.33; Agreeableness differs by only d=.03. Human and generated EFAs are forced to five factors with minres and oblimin rotation. Parallel analysis recommends six human factors, the sixth marginal, and five GPT-4 factors. Generated target loadings average .87–.95 versus .52–.65 for humans, with almost no cross-loadings. This shows stereotyped, orthogonal reconstruction of the scoring key rather than superior human realism: a structure “purer” than human data removes covariance, ambiguity, facets, and error present in people. Simulation 2 samples 400 50-year-old British NCDS participants with complete IPIP data and assigns 100 different profiles to each of four prompts: scores only, age 50, Britain, or both. The five scores are again supplied before asking for the same IPIP-50. Generated alpha is .92–.99 and convergence falls to .75–.95, lowest for Agreeableness. Mean differences are d=.22 for Conscientiousness, .41 for Agreeableness, −.35 for Emotional Stability, .07 for Extraversion, and .37 for Openness. The supplement contradicts the factorial-replication narrative: Figures S3 and S4 recommend six factors for both human and GPT-4 data, while tables summarize a forced five-factor solution. In regressions controlling all five human scores, including age raises Conscientiousness β=.16, Emotional Stability β=.12, and Openness β=.14; including country lowers Emotional Stability β=−.09 and Extraversion β=−.14. The age×Agreeableness interaction is −.15 and country×Extraversion .18; the prose incorrectly attributes the latter to age. Interaction terms change adjusted R² by only −.001 to .008. For so-called criterion validity, human or reconstructed scores are correlated with health, job involvement, quality of life, and well-being outcomes already observed for the NCDS humans. GPT-4 generates neither these outcomes nor external behavior. Because emulated scores are transformations of the supplied human scores, retaining some of their outcome correlations is not independent prediction. Each prompt condition also contains different individuals, n≈100, so comparisons of correlations across conditions mix demographic prompting with subgroup sampling variation; intervals are wide and no direct tests or multiplicity correction are documented. With no perturbation, for example, human Conscientiousness correlates .33/.45/.51 with health/quality/well-being and its reconstruction .24/.40/.41; human Emotional Stability correlates .32/.51/.53 and its reconstruction .21/.42/.42. Country prompting produces some closer results but no uniform pattern. Main Figure 1 visually duplicates all four Age Setting panels under Age & Country Setting even though Tables S15 and S17 report different values. The exact GPT-4 snapshot, temperature, model seed, retries, format failures, temporal variation, and replication in another model are not reported. The paper therefore demonstrates steerability in expanding explicit Big Five scores into highly consistent IPIP responses. It does not demonstrate realistic agents, individual emulation, persistent personality, or predictive behavior; factorial perfection is itself evidence that GPT-4 simplifies human structure.