When Do LLM Personas Support Visualization Design? A Cross-Model Study of Color Assignment and Chart Choice

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Shahreen Salim, Klaus Mueller

Palabras clave: Big Five persona prompting, Visualization design, Color assignment, Chart preference, Mantel test, CIELCH hue, Trait-aligned clustering, Aggregation sensitivity, No-persona baseline, Synthetic participants, Human validation, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
16
Hallazgos
30
Limitaciones
8
Evidencias

Resumen editorial

Español

Este preprint estudia si asignar perfiles Big Five a un LLM genera decisiones de visualización que puedan interpretarse como señales de personalidad y si esas señales sobreviven al cambio de modelo, tarea y método de agregación. Compara GPT-4o-mini, GPT-4.1-mini y GPT-5-mini en dos experimentos: generación de colores para seis conceptos y valoración de 12 tipos de gráfico en tres contextos. La lectura defendible es deliberadamente cauta y coincide con la conclusión de los autores: estas personas LLM pueden servir como sondas exploratorias del comportamiento del modelo, no como sustitutos de participantes humanos ni como representación validada de preferencias de usuario.

Los 43 perfiles no proceden de 43 personas. Se construyen a partir de puntuaciones Big Five promedio por estado de EE. UU.; cada rasgo se reduce a Bajo, Medio o Alto y se eliminan combinaciones duplicadas. Por tanto, son combinaciones sintéticas derivadas de datos ecológicos. No describen individuos, no constituyen una muestra representativa y no permiten trasladar una asociación del nivel estatal al comportamiento de una persona. Además, la distancia entre perfiles es la suma L1 sobre cinco valores ordinales 0/1/2: supone intervalos iguales y el mismo peso para todos los rasgos sin una justificación psicométrica específica.

En el experimento de color se cruzan esos 43 perfiles con Banana, Strawberry y Carrot como conceptos concretos, y Serendipity, Serenity y Chaos como abstractos. Para cada concepto, perfil y modelo se recogen 30 colores RGB válidos: 7.740 por modelo y 23.220 en total. Las respuestas mal formadas o fuera de rango se rechazan y se repite la llamada hasta completar 30, pero no se publican el número ni el patrón de rechazos. GPT-4o-mini y GPT-4.1-mini usan temperatura 0,7. GPT-5-mini no admite ese parámetro y recibe 30 seeds fijas combinadas con ocho lentes interpretativas, literal, afectiva, metafórica, atmosférica, apagada, vívida, oscura y clara. Es un protocolo de prompt distinto; los propios autores lo presentan como stress test, no como comparación de muestreo equivalente.

Los RGB se convierten a CIELCH y cada perfil queda representado por un histograma circular de tono con 36 bins. Se compara la distancia L1 de personalidad con la distancia Hellinger entre histogramas mediante un test de Mantel de 9.999 permutaciones. A 36 bins, GPT-4o-mini no muestra asociación significativa en ninguno de los seis conceptos; GPT-4.1-mini la muestra en los seis, con r entre 0,12 y 0,21 y p<=0,006; GPT-5-mini solo en Strawberry, p=0,001, y Chaos, p=0,015. Tras Holm sobre 18 pruebas sobreviven cuatro conceptos de GPT-4.1-mini y Strawberry en GPT-5-mini. Al cambiar a 18, 36 y 72 bins, los recuentos se mantienen en 0/6 para GPT-4o-mini y 6/6 para GPT-4.1-mini, pero varían 4/6, 2/6 y 2/6 para GPT-5-mini. Las cifras exactas por concepto están en un Supplemental.pdf anunciado pero no publicado.

Una ANOVA descriptiva sobre el tono lineal atribuye en conceptos abstractos eta cuadrado 0,038 a persona y 0,008 a modelo, una razón de 4,7. Sin embargo, el tono es circular. Al repetir con seno y coseno, la relación pasa a 0,036 frente a 0,018, solo dos veces, y para Banana se invierte qué factor domina. En conceptos concretos, modelo y persona explican de media 0,015 y 0,020. El residuo domina los ajustes, entre 0,929 y 0,982. Además, el efecto abstracto agregado procede sobre todo de GPT-4.1-mini: eta cuadrado medio de persona 0,23, frente a 0,05 en GPT-4o-mini y 0,03 en GPT-5-mini. Esto respalda dependencia de configuración, no un efecto estable de personalidad. La ANOVA no modela por completo la estructura anidada y los seis conceptos fueron elegidos, no muestreados; no permiten generalizar una diferencia de categoría.

El segundo experimento recrea 12 idiomáticas de gráfico para jerarquía, serie temporal y comparación. Cada persona puntúa claridad, interpretabilidad, atractivo y preferencia global de 1 a 7. El orden de los gráficos es fijo. Para aproximarse al N=64 de Alves et al., los autores generan 60 ejecuciones a partir de solo 43 perfiles, repitiendo algunos. Esas repeticiones son muestras estocásticas, no 60 perfiles independientes. Se agrupan por cercanía a tres prototipos etiquetados Organized and Stable, Sociable and Cooperative y Emotionally Reactive, con n=24, 14 y 22; siete perfiles empatan y se asignan al grupo de índice menor. Las etiquetas son interpretaciones impuestas, en especial asociar neuroticismo alto con «emocionalmente reactivo», y pueden reificar estereotipos.

Para GPT-4.1-mini, los tres grupos eligen Treemap para jerarquía, Line Chart with Points para tiempo y Radar para comparación bajo mayoría, IRV y Borda. Las cuotas Borda son 47/43/43 %, 46/52/49 % y 31/35/28 %. Apriori cambia el ganador en 5 de 27 celdas, sobre todo hacia Pie en comparación, y el promedio Likert también produce ganadores distintos y menor estabilidad. En 1.000 bootstraps, jerarquía y tiempo tienen 97,6-100 % de estabilidad; comparación cae a 91,6 %, 97,7 % y 53,4 % según grupo. Pero el bootstrap trata las ejecuciones duplicadas como unidades persona y no representa incertidumbre sobre los 43 perfiles únicos ni sobre su derivación estatal.

Los tres modelos coinciden en el primer gráfico de las nueve combinaciones grupo-contexto. La evidencia decisiva es que una condición sin persona recupera el mismo ganador en 8 de 9 combinaciones modelo-contexto; la excepción es una casi igualdad de GPT-5-mini donde Radar queda segundo. El contexto de la tarea, por tanto, domina la primera posición. La persona modifica niveles de puntuación y posiciones inferiores más que el ganador. El Kendall tau medio entre modelos es 0,79, con medias por pareja 0,889, 0,778 y 0,711; cinco de 27 celdas bajan de 0,5, principalmente en el tercer grupo. Los modelos mixtos tampoco cambian ningún ganador, aunque el tercer grupo puntúa aproximadamente 0,93 puntos menos que el primero en la escala de 7. Esa diferencia puede ser un estilo de respuesta inducido por el prompt, no una preferencia visual.

Las 12 regresiones OLS de GPT-4.1-mini usan 60 filas, cinco rasgos simultáneos y no tienen holdout. Informan 36 de 60 coeficientes significativos tras Holm, pero los perfiles repetidos reducen la independencia y los coeficientes completos no están disponibles. Tampoco hay validación humana emparejada. Los ganadores difieren del estudio humano citado para jerarquía y tiempo, y los autores correctamente no afirman una réplica. No se miden comprensión, precisión de tarea, tiempo, accesibilidad, carga cognitiva, confianza, satisfacción ni calidad de una visualización aplicada.

La reproducibilidad está incompleta. El texto afirma que todos los prompts, asignaciones de perfiles y clusters, estadísticas Mantel, sensibilidades, regresiones, rankings, matrices Kendall y baseline sin persona están en Supplemental.pdf. Ese archivo no forma parte del tar de arXiv, las rutas auxiliares devuelven 404 y no se encontró una copia pública en búsquedas por título, autores, OSF o GitHub. El archivo fuente contiene TeX y cinco figuras, pero no código, datos, outputs o scripts. Tampoco se identifican snapshots exactos de modelo o fechas de API. Por ello, las tablas resumidas pueden describirse, pero la mayor parte de los resultados exactos no puede verificarse ni reproducirse.

La aportación más sólida no es una recomendación de colores o gráficos ni una demostración de personalidad humana simulada. Es una advertencia metodológica: la variación visual puede confundirse con señal de persona; la señal cambia con el modelo y el protocolo; el tratamiento circular y la agregación alteran la magnitud o el ganador; y un baseline neutro revela que el contexto explica casi toda la primera elección. Antes de interpretar personas LLM como usuarios hacen falta múltiples configuraciones, conceptos muestreados, perfiles individuales válidos, control sin persona, análisis que respete repeticiones, artefactos completos y calibración directa con humanos.

English

This preprint asks whether assigning Big Five profiles to an LLM produces visualization decisions that can be interpreted as personality signals and whether those signals survive changes in model, task, and aggregation method. It compares GPT-4o-mini, GPT-4.1-mini, and GPT-5-mini in two experiments: generating colors for six concepts and rating 12 chart idioms in three contexts. The defensible reading is intentionally cautious and matches the authors' conclusion: LLM personas may serve as exploratory probes of model behavior, not substitutes for human participants or validated representations of user preference.

The 43 profiles do not come from 43 people. They are built from average U.S. state-level Big Five scores; each trait is reduced to Low, Average, or High and duplicate combinations are removed. They are therefore synthetic combinations derived from ecological data. They do not describe individuals, form a representative sample, or permit state-level associations to be transferred to a person's behavior. Profile distance is also L1 over five ordinal 0/1/2 values, assuming equal intervals and equal trait weights without a specific psychometric justification.

The color experiment crosses those 43 profiles with Banana, Strawberry, and Carrot as concrete concepts and Serendipity, Serenity, and Chaos as abstract concepts. It collects 30 valid RGB colors for every concept-profile-model cell: 7,740 per model and 23,220 total. Malformed or out-of-range responses are rejected and calls are reissued until 30 are obtained, but rejection counts and patterns are not published. GPT-4o-mini and GPT-4.1-mini use temperature 0.7. GPT-5-mini does not expose it and instead receives 30 fixed seeds combined with eight interpretive lenses, literal, affective, metaphorical, atmospheric, muted, vivid, dark, and light. This is a different prompting protocol; the authors appropriately describe it as a stress test rather than an equivalent sampling comparison.

RGB outputs are converted to CIELCH and each profile is represented by a circular hue histogram with 36 bins. L1 personality distance is compared with Hellinger histogram distance using 9,999-permutation Mantel tests. At 36 bins, GPT-4o-mini has no significant association for any concept; GPT-4.1-mini has one for all six, with r=0.12-0.21 and p<=0.006; GPT-5-mini has one only for Strawberry, p=0.001, and Chaos, p=0.015. After Holm correction over 18 tests, four GPT-4.1-mini concepts and GPT-5-mini Strawberry remain. Across 18, 36, and 72 bins, counts stay 0/6 for GPT-4o-mini and 6/6 for GPT-4.1-mini, but change 4/6, 2/6, and 2/6 for GPT-5-mini. Exact concept-level values are placed in an announced but unavailable Supplemental.pdf.

A descriptive ANOVA on linear hue attributes eta-squared 0.038 to persona and 0.008 to model for abstract concepts, a 4.7-fold ratio. Hue is circular, however. Repeating the decomposition on sine and cosine changes the comparison to 0.036 versus 0.018, only twofold, and reverses which factor dominates for Banana. For concrete concepts, average model and persona contributions are 0.015 and 0.020. Residual variance dominates, ranging from 0.929 to 0.982. The pooled abstract result also comes mainly from GPT-4.1-mini: mean within-model persona eta-squared is 0.23, versus 0.05 for GPT-4o-mini and 0.03 for GPT-5-mini. This supports configuration dependence, not a stable personality effect. The ANOVA does not fully model nesting, and six selected rather than sampled concepts cannot support category-wide generalization.

The second experiment recreates 12 chart idioms for hierarchy, time-series, and comparison tasks. Each persona rates clarity, interpretability, appeal, and overall preference from 1 to 7. Chart order is fixed. To approximate Alves et al.'s human N=64, the study generates 60 runs from only 43 profiles, repeating some. Those are stochastic repetitions, not 60 independent personalities. Profiles are assigned to author-labeled Organized and Stable, Sociable and Cooperative, and Emotionally Reactive prototypes with n=24, 14, and 22; seven ties go to the lower-index cluster. The labels are imposed interpretations, especially equating high neuroticism with 'emotionally reactive', and may reify stereotypes.

For GPT-4.1-mini, all three groups select Treemap for hierarchy, Line Chart with Points for time, and Radar for comparison under plurality, IRV, and Borda. Borda shares are 47/43/43%, 46/52/49%, and 31/35/28%. Apriori changes the winner in 5 of 27 cells, mainly toward Pie in comparison, while mean-Likert aggregation also yields different winners and lower stability. In 1,000 bootstraps, hierarchy and time are 97.6-100% stable; comparison drops to 91.6%, 97.7%, and 53.4% by cluster. Yet the bootstrap treats duplicated runs as persona units and does not represent uncertainty over the 43 unique profiles or their state-level derivation.

All three models agree on the top chart in all nine cluster-context combinations. The decisive evidence is that a no-persona condition recovers the same winner in 8 of 9 model-context combinations; the exception is a near tie for GPT-5-mini in which Radar ranks second. Task context therefore dominates rank one. Persona conditioning changes rating levels and lower ranks more than the winner. Mean cross-model Kendall tau is 0.79, with pair averages 0.889, 0.778, and 0.711; five of 27 cells fall below 0.5, mostly in the third cluster. Mixed models likewise change no winner, although the third group rates charts about 0.93 points lower than the first on the seven-point scale. That difference may be a persona-induced response style rather than visual preference.

The 12 GPT-4.1-mini OLS regressions use 60 rows, include all five traits, and have no holdout. They report 36 of 60 Holm-significant coefficients, but repeated profiles weaken independence and complete coefficients are unavailable. There is no matched human validation. Winners differ from the cited human study for hierarchy and time, and the authors correctly do not claim replication. The study measures no comprehension, task accuracy, time, accessibility, cognitive load, trust, satisfaction, or applied visualization quality.

Reproducibility is incomplete. The manuscript says that all prompts, profile and cluster assignments, Mantel statistics, sensitivity tests, regressions, rankings, Kendall matrices, and no-persona baselines are in Supplemental.pdf. That file is absent from the arXiv archive, ancillary paths return 404, and no public copy was found through title, author-site, OSF, or GitHub searches. The source archive contains TeX and five figures but no code, data, outputs, or scripts. Exact model snapshots and API dates are also missing. Summary results can be described, but most exact evidence cannot be independently checked or reproduced.

The strongest contribution is not a color or chart recommendation and not evidence of simulated human personality. It is a methodological warning: visual variability can be mistaken for persona signal; the signal changes with model and protocol; circular representation and aggregation alter magnitude or winners; and a neutral baseline reveals that context explains nearly all first choices. Before treating LLM personas as users, studies need multiple configurations, sampled concepts, valid individual profiles, no-persona controls, analyses that respect repetition, complete artifacts, and direct human calibration.

Pregunta de investigación

¿Cuándo la variación de colores y preferencias de gráficos inducida por perfiles Big Five en LLM refleja una estructura consistente entre modelos y cuándo es un artefacto de configuración, contexto o agregación?

Método

Dos experimentos con GPT-4o-mini, GPT-4.1-mini y GPT-5-mini. El primero genera 23.220 colores a partir de seis conceptos y 43 perfiles Big Five ecológicos, y relaciona distancia de perfil con distancia de tono mediante Mantel y ANOVA descriptiva. El segundo obtiene 60 ejecuciones, con perfiles repetidos, que puntúan 12 gráficos en tres contextos; compara clusters, cuatro reglas de agregación, bootstrap, regresiones, modelos mixtos, Kendall tau y baseline sin persona.

Muestra: Experimento 1: 43 perfiles ecológicos únicos × seis conceptos × tres modelos × 30 colores válidos. Experimento 2: 60 ejecuciones derivadas de los mismos 43 perfiles, con repeticiones, agrupadas en 24/14/22; no participan humanos.

Hallazgos

  • GPT-4o-mini no muestra acoplamiento personalidad-color en ninguno de seis conceptos a 36 bins.
  • GPT-4.1-mini lo muestra en 6/6, con r=0,12-0,21 y p<=0,006.
  • GPT-5-mini solo lo muestra en Strawberry y Chaos a 36 bins.
  • Tras Holm sobreviven cuatro conceptos de GPT-4.1-mini y Strawberry de GPT-5-mini.
  • La sensibilidad de GPT-5-mini cambia de 4/6 a 2/6 según resolución del histograma.
  • La razón persona/modelo en abstractos baja de 4,7 a 2 al tratar correctamente la circularidad del tono.
  • El residuo explica 92,9-98,2 % de la variación en los ajustes por concepto.
  • El efecto abstracto agregado se concentra en GPT-4.1-mini.
  • Mayoría, IRV y Borda eligen Treemap, Line Chart with Points y Radar en todos los clusters de GPT-4.1-mini.
  • Apriori cambia el ganador en 5/27 celdas y el promedio Likert también altera resultados.
  • La estabilidad del tercer cluster en comparación es solo 53,4 %.
  • Los tres modelos coinciden en los nueve ganadores cluster-contexto.
  • El baseline sin persona reproduce 8/9 ganadores modelo-contexto.
  • El contexto determina la primera elección más que la persona.
  • La persona modifica sobre todo niveles de rating y rangos inferiores.
  • No hay comparación humana emparejada ni evidencia de mejora de diseño.

Limitaciones

  • Preprint v1 sin venue o revisión por pares verificados.
  • El Supplemental.pdf anunciado no está disponible.
  • Faltan prompts, outputs, datos, código y scripts estadísticos.
  • No se reportan snapshots exactos de modelos o fechas de API.
  • Los perfiles proceden de medias estatales, no de individuos.
  • La inferencia ecológica no representa preferencias personales.
  • Discretizar Low/Average/High pierde magnitud.
  • L1 supone intervalos y pesos de rasgos iguales.
  • Solo se prueban seis conceptos seleccionados.
  • Concepto y categoría abstracto/concreto están confundidos.
  • Se desconoce cuántas respuestas se rechazaron y regeneraron.
  • GPT-5-mini usa un protocolo distinto con lentes interpretativas.
  • No hay baseline sin persona para color.
  • La ANOVA lineal es sensible a la circularidad del tono.
  • La ANOVA descriptiva no modela toda la estructura anidada.
  • La conversión de Mantel r a Cohen d no es un efecto humano estandarizado.
  • Sesenta ejecuciones proceden de solo 43 perfiles.
  • Los perfiles repetidos no son observaciones independientes.
  • OLS y bootstrap tratan repeticiones como unidades persona.
  • No hay justificación de potencia o tamaño muestral.
  • Siete asignaciones a clusters son empates resueltos por índice.
  • Las etiquetas de clusters son valorativas y pueden estereotipar.
  • El orden de gráficos es fijo y no contrabalanceado.
  • El ganador depende en algunas celdas de la regla de agregación.
  • La condición de comparación tiene menor estabilidad.
  • No hay holdout para las regresiones.
  • No hay participantes humanos ni calibración emparejada.
  • Los resultados no replican las primeras elecciones humanas citadas.
  • No se miden comprensión, tiempo, accesibilidad o calidad del diseño.
  • No se auditan sesgos culturales o generalización fuera de EE. UU.

Qué no demuestra

  • Que los LLM posean rasgos Big Five internos.
  • Que los perfiles representen personas o usuarios diversos.
  • Que la distancia de personalidad cause distancia de color.
  • Que los conceptos abstractos en general estén más condicionados por personalidad.
  • Que los efectos sean estables entre modelos o protocolos.
  • Que las personas LLM reproduzcan preferencias humanas de color o gráficos.
  • Que repetir un perfil aumente el tamaño de una muestra psicológica.
  • Que los clusters correspondan a grupos humanos válidos.
  • Que las diferencias de rating sean preferencias y no estilo de respuesta.
  • Que los gráficos ganadores mejoren comprensión o desempeño.
  • Que la persona cambie la primera elección más que el contexto.
  • Que el estudio humano citado haya sido replicado.
  • Que los resultados exactos sean reproducibles sin el suplemento.
  • Que personas LLM puedan sustituir participantes humanos.
  • Que exista una recomendación de diseño lista para aplicar.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2607.02455v1; five-page preprint; PDF, all pages, TeX source, publication status, missing supplement, methods, statistics, figures, sample construction, baselines, reproducibility and claim boundaries audited 2026-07-16

Fuente consultada: https://arxiv.org/abs/2607.02455v1

Revisión: Codex five-page full-text visual, TeX source, supplement, publication, ecological-profile, statistical, pseudoreplication, aggregation, baseline, human-validation and artifact audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • GPT-4o-mini; exact snapshot not reported; temperature 0.7
  • GPT-4.1-mini; exact snapshot not reported; temperature 0.7
  • GPT-5-mini; exact snapshot not reported; 30 seeds and eight prompt lenses instead of temperature

Instrumentos y métricas

  • Big Five state-level U.S. T-score profiles discretized to Low/Average/High
  • L1 ordinal personality distance
  • sRGB to CIELCH conversion
  • 36-bin circular hue histograms with 18/72-bin sensitivity
  • Hellinger distance
  • Mantel test with 9,999 permutations and Holm correction
  • Descriptive two-way ANOVA and circular sine/cosine sensitivity
  • Seven-point clarity, interpretability, appeal and overall-preference ratings
  • Majority Vote, Instant Runoff Voting, Apriori Support and Borda Count
  • One-thousand-run persona-level bootstrap
  • Multivariate OLS and covariate-adjusted mixed-effects models
  • Cross-model Kendall tau
  • No-persona chart baseline

Datos utilizados

  • Forty-three unique categorical profiles derived from Rentfrow et al. U.S. state-level Big Five averages
  • Six selected color concepts: three concrete and three abstract
  • Twenty-three thousand two hundred twenty valid generated RGB colors
  • Twelve recreated chart idioms across hierarchy, time-series and comparison contexts
  • Sixty persona-conditioned chart-rating runs sampled from 43 unique profiles
  • No released prompts, profile mapping, raw generations, chart ratings, code or complete supplement

Evidencia y localización

  • Métodos, resultados, figuras, discusión y limitaciones: arXiv:2607.02455v1 PDF, five pages; every page rendered and visually inspected
  • Versión, fecha, categoría y ausencia de venue en el registro: Official arXiv record for 2607.02455v1
  • Contenido del artefacto y ausencia de Supplemental.pdf: arXiv source archive sha256:0737fa2ca32d30e; TeX and five figures inspected
  • Ausencia de suplemento público, repo y decisión editorial: Exact-title, author-site, OSF, GitHub and ancillary-file searches checked 2026-07-16
  • Construcción ecológica de perfiles: arXiv v1, pp. 1-2, Big Five Trait Profiles
  • Resultados Mantel, sensibilidad y ANOVA: arXiv v1, pp. 2-3, Personality Distance vs. Color Distance and Cross-Model Comparison
  • Muestra repetida, clusters, agregación, bootstrap y baseline: arXiv v1, pp. 3-4, Experiment 2 and Discussion
  • Auditoría consolidada: reports/verification/article-281-visualization-persona-color-chart-context-supplement-missing-pseudoreplication-and-claim-audit.json