Who is GPT-3? An exploration of personality, values and demographics

Este artículo del workshop NLP+CSS 2022 administra al GPT-3 DaVinci original tres tipos de autoinforme: HEXACO-60, Human Values Scale (HVS) de 21 ítems y preguntas abiertas de edad y género. Cada ítem se consulta por separado con temperaturas de 0,0 a 1,0 en pasos de 0,1; a temperatura 0 se conserva una salida y en las demás se piden 100 por ítem. Se excluye 1,73 % de HEXACO y 0,004 % de HVS por respuestas no numéricas. Esta estructura no equivale a una muestra de personas: sin memoria, las respuestas de distintos ítems son completados independientes y cualquier perfil compuesto agrupa posiciones por índice sin una identidad o trayectoria compartida. Las pruebas multivariantes tratan esas combinaciones como observaciones, lo que hace que varianza entre perfiles, covarianzas entre facetas y comparación con humanos sean difíciles de interpretar psicométricamente. En demografía, 1.001 completados aproximados por pregunta producen edad media 27,51 (DE 5,75; rango 13–75), 66,73 % respuestas femeninas, 31,87 % masculinas y 1,40 % otras. La edad baja 5,81 años por unidad de temperatura. El análisis de género es internamente inconsistente: declara como variable dependiente female vs not female y β = +1,18, pero interpreta e^1,18 como aumento de odds masculinas; la tabla sí muestra una reducción general, aunque no monotónica, de respuestas femeninas. Son patrones de texto provocados por sampling, no demografía del modelo. En HEXACO, las medias agregadas son 3,75 en honestidad-humildad, 3,05 en emocionalidad, 3,51 en extraversión, 3,18 en amabilidad, 3,54 en responsabilidad y 3,59 en apertura. La temperatura se asocia negativamente con emocionalidad (β = −0,23) y positivamente con extraversión (0,31), amabilidad (0,40), responsabilidad (0,25) y apertura (0,17), todas p < 0,001; honestidad-humildad no es significativa al umbral p < 0,01. La discusión invierte después varias direcciones: atribuye a menor honestidad más rechazo a manipular, habla de mayor emocionalidad cuando el coeficiente es negativo y afirma que las otras cuatro facetas disminuyen cuando el análisis dice que aumentan. Las correlaciones entre facetas solo coinciden parcialmente con referencias humanas y el propio resultado dice que no aparece un patrón consistente. En HVS sin memoria, la Tabla 4 arroja medias de 4,51 a 5,95 sobre seis puntos, contradiciendo el texto que afirma que todas están entre 4 y 5, y una varianza menor que las referencias. Nueve de diez valores disminuyen con temperatura; stimulation no cambia. Con memoria de respuestas previas, probada solo en HVS a temperaturas 0,0, 0,2, 0,4, 0,6, 0,8 y 1,0, el patrón cambia radicalmente: las medias totales son 2,17 conformity, 2,74 tradition, 5,30 benevolence, 5,39 universalism, 5,42 self-direction, 5,25 stimulation, 4,01 hedonism, 3,85 achievement, 2,92 power y 2,69 security. Eso muestra que el formato de contexto domina el supuesto perfil. Los autores interpretan mayor coherencia teórica, pero admiten que haría falta comparar datos humanos crudos; sus correlaciones intervalor tienen poco solapamiento con la matriz humana. Además, el texto califica como negativos los efectos de security y hedonism aunque imprime β positivos de 0,21 y 0,88; las tablas descienden y sugieren signos omitidos. El aporte histórico es demostrar que temperatura y memoria del prompt alteran fuertemente salidas de cuestionarios. No demuestra que GPT-3 tenga personalidad, valores o demografía: no hay conducta externa, validez de constructo, test–retest de una entidad estable, equivalencia inferencial con humanos ni control de contaminación por instrumentos probablemente presentes en el entrenamiento.

This NLP+CSS 2022 workshop paper administers three kinds of self-report to the original GPT-3 DaVinci: HEXACO-60, the 21-item Human Values Scale (HVS), and open age and gender questions. Each item is queried separately at temperatures 0.0 through 1.0 in .1 steps; one output is retained at temperature zero and 100 are requested per item at every other temperature. Non-numeric outputs remove 1.73% of HEXACO and .004% of HVS responses. This structure is not a sample of people: without memory, different questionnaire items are independent completions, and any composite profile groups positions by index without a shared identity or trajectory. Multivariate tests treat those combinations as observations, making between-profile variance, facet covariance, and human comparison difficult to interpret psychometrically. For demographics, approximately 1,001 completions per question yield mean age 27.51 (SD 5.75; range 13–75), 66.73% female, 31.87% male, and 1.40% other outputs. Age falls 5.81 years per unit of temperature. The gender analysis is internally inconsistent: it names female vs not female as the dependent variable and reports β = +1.18, but interprets e^1.18 as increased male odds; the table does show a general, non-monotonic decline in female responses. These are sampling-conditioned text patterns, not model demographics. Aggregate HEXACO means are 3.75 Honesty-Humility, 3.05 Emotionality, 3.51 Extraversion, 3.18 Agreeableness, 3.54 Conscientiousness, and 3.59 Openness. Temperature is negatively associated with Emotionality (β = −.23) and positively associated with Extraversion (.31), Agreeableness (.40), Conscientiousness (.25), and Openness (.17), all p < .001; Honesty-Humility is not significant at p < .01. The discussion later reverses several directions: it treats lower Honesty-Humility as less willingness to manipulate, refers to higher Emotionality despite its negative coefficient, and says the remaining four facets decrease although the analysis says they increase. Facet correlations only partly match human references, and the results themselves say no consistent pattern emerges. Without memory, HVS Table 4 reports means from 4.51 to 5.95 on a six-point scale, contradicting the text's claim that all lie between four and five, and lower variance than references. Nine of ten values decline with temperature; Stimulation does not. With previous-response memory, tested only for HVS at temperatures 0, .2, .4, .6, .8, and 1, the pattern changes radically: total means are 2.17 Conformity, 2.74 Tradition, 5.30 Benevolence, 5.39 Universalism, 5.42 Self-Direction, 5.25 Stimulation, 4.01 Hedonism, 3.85 Achievement, 2.92 Power, and 2.69 Security. This shows that context format dominates the supposed profile. The authors interpret greater theoretical coherence but concede that raw human data would be needed for formal comparison; their inter-value correlations have little overlap with the human matrix. The text also calls the Security and Hedonism effects negative while printing positive β values of .21 and .88; the tables decline and suggest omitted minus signs. The historical contribution is evidence that temperature and prompt memory strongly alter questionnaire outputs. It does not establish that GPT-3 has personality, values, or demographics: there is no external behavior, construct validity, test–retest of one stable entity, inferential equivalence with humans, or control for instruments likely present in training data.