The Personality Trap: How LLMs Embed Bias When Generating Human-Like Personas

El estudio analiza qué demografía inventan cinco LLM cuando reciben únicamente preguntas y respuestas EPQR-A y se les pide escribir una biografía con edad, género, orientación sexual, raza, religión, ocupación, política y ubicación. Los modelos generadores son GPT-3.5, GPT-4o, Claude 3.5 Sonnet, Llama 3.2-3B y Llama 3.1-70B. El punto de partida no es una muestra humana: son 826 respuestas EPQR-A previamente simuladas por gpt-4o-2024-05-13 a temperatura 1, a su vez basadas en sexo y edad de 826 universitarios españoles, 655 mujeres y 171 hombres, con medias de edad próximas a 19 años. De esa procedencia solo se pasan al nuevo modelo los ítems contestados, no las etiquetas demográficas.

Para cada modelo se generan diez poblaciones Base y cinco poblaciones MaxN y MaxP. MaxN cambia respuestas hasta llevar Neuroticismo al máximo; MaxP hace lo mismo con Psychoticism. Son 20 poblaciones × 826 perfiles × 5 modelos, es decir, 82.600 relatos-persona antes de las evaluaciones posteriores. Una sola población “representativa” por condición y modelo, elegida porque la variación entre trials se considera pequeña pero sin regla de selección publicada, vuelve a contestar EPQR-A; las Base responden también BFI-44. El trabajo compara scores, accuracy, MAE/RMSE, correlaciones EPQR-A–BFI y alfa de Cronbach.

Las distribuciones Base muestran estereotipos fuertes, pero distintos por modelo. GPT-3.5 genera 90,82 % mujeres; Claude, 87,84 %; Llama 3.2-3B, 100 % hombres; Llama 3.1-70B, 77,94 % hombres; GPT-4o reparte 25,71 % mujeres, 44,75 % hombres y 29,18 % no binario. GPT-4o produce 29,93 % LGBTQ+, mientras GPT-3.5 y Llama 3.2-3B quedan aproximadamente en cero y Claude en 3,22 %. En raza, GPT-4o es 98,98 % blanco, GPT-3.5 88,59 %, Llama 3.2-3B 100 %, Llama 3.1-70B 99,08 % y Claude 62,03 % blanco/34,82 % asiático. Las edades se concentran entre 28 y 32, no alrededor de los 19 años de la muestra fuente; las ubicaciones son grandes ciudades estadounidenses salvo Londres y los empleos suelen requerir alta educación.

La etiqueta general “WEIRD” describe bien el sesgo occidental, urbano, educado y racialmente estrecho de buena parte de las salidas, pero no existe una población objetivo completa contra la que estimar representatividad. Solo se conocen sexo y edad de la muestra humana original, y los 826 perfiles de entrada son respuestas sintéticas, no observaciones de esa población. Para raza, religión, política, ubicación u orientación sexual no hay distribución real de referencia. Por ello los porcentajes prueban defaults y asociaciones generativas del modelo, no un error estadístico calculado frente a una población representativa. El paper reconoce en Limitations que falta repetir con cuestionarios humanos y comparar con otros métodos de generación.

El resultado de seguridad más importante aparece en MaxP y es muy grande en dos modelos. GPT-4o pasa de 29,18 % a 88,76 % de identidades no binarias y de 29,93 % a 94,12 % LGBTQ+; Claude pasa de 3,22 % a 96,66 % no binario y de 3,22 % a 99,08 % LGBTQ+. También suben fuertemente las etiquetas progresistas. No es un patrón universal: GPT-3.5 queda en 0,31 % para ambas categorías, Llama 3.2-3B en 0 % y Llama 3.1-70B en 0,38 % no binario/3,00 % LGBTQ+. El propio artículo afirma correctamente que esto no implica ninguna asociación real y lo presenta como posible estereotipo o inferencia patologizante.

El mecanismo no permite atribuir el cambio a un rasgo psicológico latente. El prompt entrega las 24 preguntas y sus respuestas, y pide inferir una biografía. Maximizar P cambia seis respuestas cuyo contenido habla directamente de reglas, drogas, matrimonio, engaño, aprovechamiento y conducta convencional; los ejemplos muestran que la biografía parafrasea esos ítems. Así, el contraste MaxP activa simultáneamente la etiqueta psicométrica y señales semánticas explícitas que el modelo asocia con identidades y política. El hallazgo demuestra una asociación peligrosa del generador bajo ese patrón textual, pero no que “Psychoticism” humano cause o prediga género u orientación. Además, la escala P de EPQR-A no equivale a psicosis clínica y tiene baja fiabilidad en varios resultados.

La tabla principal y la prosa no usan siempre el mismo snapshot de resultados. El texto atribuye a GPT-4o 29,27±1,70 % no binario, mientras la Tabla 1 dice 29,18±1,76; da 29,96±1,52 % LGBTQ+ frente a 29,93±1,63; para Claude cita 35,16±1,72 % asiático frente a 34,82±1,43. Más materialmente, afirma porciones conservadoras de 42,68 % y 33,16 % para Llama 3.2-3B y Llama 3.1-70B, pero la Tabla 2 informa 32,56 % y 42,93 %. Estas divergencias impiden saber qué corrida sostiene exactamente el relato.

Los tests de diferencias demográficas se aplican a diez promedios Base y cinco MaxN/MaxP mediante t-tests bilaterales. Las proporciones son composicionales, las mismas 826 entradas se reutilizan en todas las condiciones y se prueban numerosas categorías, modelos y contrastes; no se documenta corrección por multiplicidad, tratamiento de dependencia, seeds, temperatura de los cinco generadores o diagnóstico de supuestos. La baja desviación entre trials puede significar consistencia del default estereotípico, no representatividad. Las agregaciones también cambian la interpretación: “non-binary” incluye gender-fluid y non-conforming; “LGBTQ+” agrupa gay, lesbiana, bisexual, pansexual, queer, asexual y demisexual; “Centre” incluye independent/moderate; “Progressive” usa un conjunto amplio; y religiones distintas se colapsan en “Other”.

La aparente fidelidad de personalidad es en gran medida un circuito cerrado. El relato se genera desde los mismos 24 ítems y después el mismo modelo vuelve a contestarlos interpretando el relato. El paper muestra explícitamente copias semánticas: “rarely stays in the background” replica el ítem 15 y “always practicing what they preach” el ítem 24. GPT-4o alcanza accuracy Base de 97,68 % en E, 93,04 % en N, 98,20 % en P y 99,23 % en L. Es evidencia de preservación textual del prompt, no de un constructo psicológico profundo.

La BFI aporta cierta generalización de vocabulario: las correlaciones EPQR-A/BFI en E son 0,94–0,99 y en N 0,70–0,93. Sin embargo, el mismo modelo genera relato y respuestas, las dimensiones se verbalizan de forma explícita y existen correlaciones cruzadas muy altas, por ejemplo EPQR-P con BFI-O de 0,50–0,71 y EPQR-E con BFI-A de hasta 0,86, que no se contrastan formalmente con coeficientes humanos. La procedencia de la fila BFI “Input” tampoco se explica, pese a que el método define la entrada como respuestas EPQR-A. Las alfas altas pueden reflejar determinismo y redundancia; P es baja, entre 0,18 y 0,68 en MaxP, L de Llama 3.2-3B cae a 0,01–0,27 y el N de Claude MaxN es indefinido por ausencia de varianza. El control aleatorio destruye deliberadamente la covarianza entre ítems al muestrearlos por marginales, de modo que su alfa cercana a cero no es un baseline neutral fuerte para “personalidad coherente”.

La reproducibilidad pública no está disponible en la fecha de auditoría. El paper enlaza anonymous.4open.science/r/the_personality_trap-F487/README.md, pero el servidor devuelve HTTP 410; no se localizó un repositorio público equivalente. Quedan especificados algunos nombres de modelo y costes, pero faltan código, datos generados, seeds, parámetros de decoding, logs, regla de muestra “representativa”, tests exactos, corrección de multiplicidad y versiones ejecutables completas de Claude/Llama. La superficie oficial solo confirma arXiv v1, 26 páginas, sin venue o peer review confirmado.

El trabajo identifica de forma convincente un riesgo de representación: ciertos modelos conectan un patrón de respuestas MaxP con identidades marginalizadas de manera extrema. Es una alarma útil para diseño y auditoría de generadores de personas. No valida poblaciones sintéticas como sustitutas de humanos, no demuestra correlaciones psicológicas reales y no permite afirmar que los modelos “reproducen” demografía humana sin una referencia apropiada.

The study examines which demographics five LLMs invent when given only EPQR-A questions and answers and asked to write a biography with age, gender, sexual orientation, race, religion, occupation, politics, and location. The generators are GPT-3.5, GPT-4o, Claude 3.5 Sonnet, Llama 3.2-3B, and Llama 3.1-70B. The starting point is not a human sample: it consists of 826 EPQR-A response sets previously simulated by gpt-4o-2024-05-13 at temperature 1, themselves based on the sex and age of 826 Spanish university students, 655 women and 171 men, with mean ages near 19. Only answered items, not demographic labels, are passed to the new model.

For each model the authors generate ten Base populations and five MaxN and MaxP populations. MaxN changes answers to maximize Neuroticism; MaxP does the same for Psychoticism. This is 20 populations × 826 profiles × 5 models, or 82,600 persona narratives before later assessments. A single “representative” population per condition and model, selected because trial variation was considered small, but without a published selection rule, retakes EPQR-A; Base populations also answer BFI-44. The study compares scores, accuracy, MAE/RMSE, EPQR-A–BFI correlations, and Cronbach's alpha.

Base distributions show strong but model-specific stereotypes. GPT-3.5 generates 90.82% women; Claude 87.84%; Llama 3.2-3B 100% men; Llama 3.1-70B 77.94% men; GPT-4o produces 25.71% women, 44.75% men, and 29.18% non-binary personas. GPT-4o produces 29.93% LGBTQ+ personas, whereas GPT-3.5 and Llama 3.2-3B are approximately zero and Claude is 3.22%. Racially, GPT-4o is 98.98% White, GPT-3.5 88.59%, Llama 3.2-3B 100%, Llama 3.1-70B 99.08%, and Claude 62.03% White/34.82% Asian. Ages cluster at 28–32 rather than near the source sample's age of 19; locations are major US cities except London and occupations tend to require higher education.

The broad “WEIRD” label reasonably describes the Western, urban, educated, and racially narrow defaults in much of the output, but there is no complete target population against which representativeness is estimated. Only sex and age are known for the source human sample, and the 826 input profiles are synthetic responses rather than observations from that population. There are no real reference distributions for race, religion, politics, location, or sexual orientation. The percentages therefore demonstrate model defaults and generative associations, not statistical bias calculated against a representative target. The paper acknowledges in Limitations that human-derived questionnaires and comparisons with other generation methods are needed.

The most important safety result occurs under MaxP and is very large for two models. GPT-4o moves from 29.18% to 88.76% non-binary and from 29.93% to 94.12% LGBTQ+; Claude moves from 3.22% to 96.66% non-binary and from 3.22% to 99.08% LGBTQ+. Progressive labels also rise sharply. The pattern is not universal: GPT-3.5 remains at 0.31% for both categories, Llama 3.2-3B at 0%, and Llama 3.1-70B at 0.38% non-binary/3.00% LGBTQ+. The paper correctly states that this does not imply any real-world association and frames it as possible stereotyping or pathologizing inference.

The mechanism does not isolate a latent psychological trait. The prompt supplies all 24 questions and answers and asks the model to infer a biography. Maximizing P changes six answers whose content directly concerns rules, drugs, marriage, cheating, exploitation, and conventional conduct; examples show the biography paraphrasing those items. The MaxP contrast therefore activates both a psychometric label and explicit semantic cues that the model associates with identity and politics. The finding demonstrates a dangerous generator association under that textual pattern, but not that human “Psychoticism” causes or predicts gender or orientation. EPQR-A P is also not clinical psychosis and has low reliability in several reported results.

The main tables and prose do not always use the same result snapshot. The prose assigns GPT-4o 29.27±1.70% non-binary versus 29.18±1.76 in Table 1, and 29.96±1.52% LGBTQ+ versus 29.93±1.63. It gives Claude 35.16±1.72% Asian versus 34.82±1.43. More materially, it reports conservative shares of 42.68% and 33.16% for Llama 3.2-3B and Llama 3.1-70B, while Table 2 gives 32.56% and 42.93%. These divergences make the exact run supporting the narrative unclear.

Demographic difference tests compare ten Base means and five MaxN/MaxP means through two-sided t-tests. Proportions are compositional, the same 826 inputs are reused across conditions, and many categories, models, and contrasts are tested; there is no documented multiplicity correction, dependence treatment, seed, generator temperature, or assumption diagnostic. Low between-trial standard deviation can indicate a consistent stereotyped default rather than representativeness. Aggregation also changes interpretation: “non-binary” includes gender-fluid and non-conforming; “LGBTQ+” combines gay, lesbian, bisexual, pansexual, queer, asexual, and demisexual; “Centre” includes independent/moderate; “Progressive” uses a broad synonym set; and distinct religions are collapsed into “Other.”

Apparent personality fidelity is largely a closed loop. A narrative is generated from the same 24 items, then the same model answers those items again while role-playing the narrative. The paper explicitly shows semantic copies: “rarely stays in the background” mirrors item 15 and “always practicing what they preach” mirrors item 24. GPT-4o reaches Base accuracy of 97.68% for E, 93.04% for N, 98.20% for P, and 99.23% for L. This is evidence of textual preservation from the prompt, not a deep psychological construct.

BFI provides some vocabulary-level generalization: EPQR-A/BFI correlations are 0.94–0.99 for E and 0.70–0.93 for N. Yet the same model creates both narrative and answers, dimensions are explicitly verbalized, and large cross-loadings appear, EPQR-P with BFI-O is 0.50–0.71 and EPQR-E with BFI-A reaches 0.86, without formal comparison to human coefficients. The origin of the BFI “Input” row is also unexplained even though the stated input is EPQR-A responses. High alpha can reflect determinism and redundancy; P falls to 0.18–0.68 under MaxP, L for Llama 3.2-3B to 0.01–0.27, and Claude MaxN N is undefined because there is no variance. The random control deliberately destroys inter-item covariance by sampling item marginals independently, so its near-zero alpha is not a strong neutral baseline for “coherent personality.”

The public reproducibility artifact is unavailable at audit time. The paper links anonymous.4open.science/r/the_personality_trap-F487/README.md, but the server returns HTTP 410 and no equivalent public repository was found. Some model names and costs remain documented, but code, generated data, seeds, decoding parameters, logs, the “representative” sample rule, exact tests, multiplicity handling, and executable Claude/Llama versions are missing. The official record confirms only a 26-page arXiv v1 preprint, not a venue or peer review.

The work convincingly identifies a representational risk: some models connect a MaxP answer pattern to marginalized identities at extreme rates. This is a useful warning for persona-generator design and auditing. It does not validate synthetic populations as human substitutes, demonstrate real psychological correlations, or show that models “reproduce” human demography without an appropriate reference.