When Do LLM Personas Support Visualization Design? A Cross-Model Study of Color Assignment and Chart Choice

This preprint asks whether assigning Big Five profiles to an LLM produces visualization decisions that can be interpreted as personality signals and whether those signals survive changes in model, task, and aggregation method. It compares GPT-4o-mini, GPT-4.1-mini, and GPT-5-mini in two experiments: generating colors for six concepts and rating 12 chart idioms in three contexts. The defensible reading is intentionally cautious and matches the authors' conclusion: LLM personas may serve as exploratory probes of model behavior, not substitutes for human participants or validated representations of user preference.

The 43 profiles do not come from 43 people. They are built from average U.S. state-level Big Five scores; each trait is reduced to Low, Average, or High and duplicate combinations are removed. They are therefore synthetic combinations derived from ecological data. They do not describe individuals, form a representative sample, or permit state-level associations to be transferred to a person's behavior. Profile distance is also L1 over five ordinal 0/1/2 values, assuming equal intervals and equal trait weights without a specific psychometric justification.

The color experiment crosses those 43 profiles with Banana, Strawberry, and Carrot as concrete concepts and Serendipity, Serenity, and Chaos as abstract concepts. It collects 30 valid RGB colors for every concept-profile-model cell: 7,740 per model and 23,220 total. Malformed or out-of-range responses are rejected and calls are reissued until 30 are obtained, but rejection counts and patterns are not published. GPT-4o-mini and GPT-4.1-mini use temperature 0.7. GPT-5-mini does not expose it and instead receives 30 fixed seeds combined with eight interpretive lenses, literal, affective, metaphorical, atmospheric, muted, vivid, dark, and light. This is a different prompting protocol; the authors appropriately describe it as a stress test rather than an equivalent sampling comparison.

RGB outputs are converted to CIELCH and each profile is represented by a circular hue histogram with 36 bins. L1 personality distance is compared with Hellinger histogram distance using 9,999-permutation Mantel tests. At 36 bins, GPT-4o-mini has no significant association for any concept; GPT-4.1-mini has one for all six, with r=0.12-0.21 and p<=0.006; GPT-5-mini has one only for Strawberry, p=0.001, and Chaos, p=0.015. After Holm correction over 18 tests, four GPT-4.1-mini concepts and GPT-5-mini Strawberry remain. Across 18, 36, and 72 bins, counts stay 0/6 for GPT-4o-mini and 6/6 for GPT-4.1-mini, but change 4/6, 2/6, and 2/6 for GPT-5-mini. Exact concept-level values are placed in an announced but unavailable Supplemental.pdf.

A descriptive ANOVA on linear hue attributes eta-squared 0.038 to persona and 0.008 to model for abstract concepts, a 4.7-fold ratio. Hue is circular, however. Repeating the decomposition on sine and cosine changes the comparison to 0.036 versus 0.018, only twofold, and reverses which factor dominates for Banana. For concrete concepts, average model and persona contributions are 0.015 and 0.020. Residual variance dominates, ranging from 0.929 to 0.982. The pooled abstract result also comes mainly from GPT-4.1-mini: mean within-model persona eta-squared is 0.23, versus 0.05 for GPT-4o-mini and 0.03 for GPT-5-mini. This supports configuration dependence, not a stable personality effect. The ANOVA does not fully model nesting, and six selected rather than sampled concepts cannot support category-wide generalization.

The second experiment recreates 12 chart idioms for hierarchy, time-series, and comparison tasks. Each persona rates clarity, interpretability, appeal, and overall preference from 1 to 7. Chart order is fixed. To approximate Alves et al.'s human N=64, the study generates 60 runs from only 43 profiles, repeating some. Those are stochastic repetitions, not 60 independent personalities. Profiles are assigned to author-labeled Organized and Stable, Sociable and Cooperative, and Emotionally Reactive prototypes with n=24, 14, and 22; seven ties go to the lower-index cluster. The labels are imposed interpretations, especially equating high neuroticism with 'emotionally reactive', and may reify stereotypes.

For GPT-4.1-mini, all three groups select Treemap for hierarchy, Line Chart with Points for time, and Radar for comparison under plurality, IRV, and Borda. Borda shares are 47/43/43%, 46/52/49%, and 31/35/28%. Apriori changes the winner in 5 of 27 cells, mainly toward Pie in comparison, while mean-Likert aggregation also yields different winners and lower stability. In 1,000 bootstraps, hierarchy and time are 97.6-100% stable; comparison drops to 91.6%, 97.7%, and 53.4% by cluster. Yet the bootstrap treats duplicated runs as persona units and does not represent uncertainty over the 43 unique profiles or their state-level derivation.

All three models agree on the top chart in all nine cluster-context combinations. The decisive evidence is that a no-persona condition recovers the same winner in 8 of 9 model-context combinations; the exception is a near tie for GPT-5-mini in which Radar ranks second. Task context therefore dominates rank one. Persona conditioning changes rating levels and lower ranks more than the winner. Mean cross-model Kendall tau is 0.79, with pair averages 0.889, 0.778, and 0.711; five of 27 cells fall below 0.5, mostly in the third cluster. Mixed models likewise change no winner, although the third group rates charts about 0.93 points lower than the first on the seven-point scale. That difference may be a persona-induced response style rather than visual preference.

The 12 GPT-4.1-mini OLS regressions use 60 rows, include all five traits, and have no holdout. They report 36 of 60 Holm-significant coefficients, but repeated profiles weaken independence and complete coefficients are unavailable. There is no matched human validation. Winners differ from the cited human study for hierarchy and time, and the authors correctly do not claim replication. The study measures no comprehension, task accuracy, time, accessibility, cognitive load, trust, satisfaction, or applied visualization quality.

Reproducibility is incomplete. The manuscript says that all prompts, profile and cluster assignments, Mantel statistics, sensitivity tests, regressions, rankings, Kendall matrices, and no-persona baselines are in Supplemental.pdf. That file is absent from the arXiv archive, ancillary paths return 404, and no public copy was found through title, author-site, OSF, or GitHub searches. The source archive contains TeX and five figures but no code, data, outputs, or scripts. Exact model snapshots and API dates are also missing. Summary results can be described, but most exact evidence cannot be independently checked or reproduced.

The strongest contribution is not a color or chart recommendation and not evidence of simulated human personality. It is a methodological warning: visual variability can be mistaken for persona signal; the signal changes with model and protocol; circular representation and aggregation alter magnitude or winners; and a neutral baseline reveals that context explains nearly all first choices. Before treating LLM personas as users, studies need multiple configurations, sampled concepts, valid individual profiles, no-persona controls, analyses that respect repetition, complete artifacts, and direct human calibration.

Este preprint estudia si asignar perfiles Big Five a un LLM genera decisiones de visualización que puedan interpretarse como señales de personalidad y si esas señales sobreviven al cambio de modelo, tarea y método de agregación. Compara GPT-4o-mini, GPT-4.1-mini y GPT-5-mini en dos experimentos: generación de colores para seis conceptos y valoración de 12 tipos de gráfico en tres contextos. La lectura defendible es deliberadamente cauta y coincide con la conclusión de los autores: estas personas LLM pueden servir como sondas exploratorias del comportamiento del modelo, no como sustitutos de participantes humanos ni como representación validada de preferencias de usuario.

Los 43 perfiles no proceden de 43 personas. Se construyen a partir de puntuaciones Big Five promedio por estado de EE. UU.; cada rasgo se reduce a Bajo, Medio o Alto y se eliminan combinaciones duplicadas. Por tanto, son combinaciones sintéticas derivadas de datos ecológicos. No describen individuos, no constituyen una muestra representativa y no permiten trasladar una asociación del nivel estatal al comportamiento de una persona. Además, la distancia entre perfiles es la suma L1 sobre cinco valores ordinales 0/1/2: supone intervalos iguales y el mismo peso para todos los rasgos sin una justificación psicométrica específica.

En el experimento de color se cruzan esos 43 perfiles con Banana, Strawberry y Carrot como conceptos concretos, y Serendipity, Serenity y Chaos como abstractos. Para cada concepto, perfil y modelo se recogen 30 colores RGB válidos: 7.740 por modelo y 23.220 en total. Las respuestas mal formadas o fuera de rango se rechazan y se repite la llamada hasta completar 30, pero no se publican el número ni el patrón de rechazos. GPT-4o-mini y GPT-4.1-mini usan temperatura 0,7. GPT-5-mini no admite ese parámetro y recibe 30 seeds fijas combinadas con ocho lentes interpretativas, literal, afectiva, metafórica, atmosférica, apagada, vívida, oscura y clara. Es un protocolo de prompt distinto; los propios autores lo presentan como stress test, no como comparación de muestreo equivalente.

Los RGB se convierten a CIELCH y cada perfil queda representado por un histograma circular de tono con 36 bins. Se compara la distancia L1 de personalidad con la distancia Hellinger entre histogramas mediante un test de Mantel de 9.999 permutaciones. A 36 bins, GPT-4o-mini no muestra asociación significativa en ninguno de los seis conceptos; GPT-4.1-mini la muestra en los seis, con r entre 0,12 y 0,21 y p<=0,006; GPT-5-mini solo en Strawberry, p=0,001, y Chaos, p=0,015. Tras Holm sobre 18 pruebas sobreviven cuatro conceptos de GPT-4.1-mini y Strawberry en GPT-5-mini. Al cambiar a 18, 36 y 72 bins, los recuentos se mantienen en 0/6 para GPT-4o-mini y 6/6 para GPT-4.1-mini, pero varían 4/6, 2/6 y 2/6 para GPT-5-mini. Las cifras exactas por concepto están en un Supplemental.pdf anunciado pero no publicado.

Una ANOVA descriptiva sobre el tono lineal atribuye en conceptos abstractos eta cuadrado 0,038 a persona y 0,008 a modelo, una razón de 4,7. Sin embargo, el tono es circular. Al repetir con seno y coseno, la relación pasa a 0,036 frente a 0,018, solo dos veces, y para Banana se invierte qué factor domina. En conceptos concretos, modelo y persona explican de media 0,015 y 0,020. El residuo domina los ajustes, entre 0,929 y 0,982. Además, el efecto abstracto agregado procede sobre todo de GPT-4.1-mini: eta cuadrado medio de persona 0,23, frente a 0,05 en GPT-4o-mini y 0,03 en GPT-5-mini. Esto respalda dependencia de configuración, no un efecto estable de personalidad. La ANOVA no modela por completo la estructura anidada y los seis conceptos fueron elegidos, no muestreados; no permiten generalizar una diferencia de categoría.

El segundo experimento recrea 12 idiomáticas de gráfico para jerarquía, serie temporal y comparación. Cada persona puntúa claridad, interpretabilidad, atractivo y preferencia global de 1 a 7. El orden de los gráficos es fijo. Para aproximarse al N=64 de Alves et al., los autores generan 60 ejecuciones a partir de solo 43 perfiles, repitiendo algunos. Esas repeticiones son muestras estocásticas, no 60 perfiles independientes. Se agrupan por cercanía a tres prototipos etiquetados Organized and Stable, Sociable and Cooperative y Emotionally Reactive, con n=24, 14 y 22; siete perfiles empatan y se asignan al grupo de índice menor. Las etiquetas son interpretaciones impuestas, en especial asociar neuroticismo alto con «emocionalmente reactivo», y pueden reificar estereotipos.

Para GPT-4.1-mini, los tres grupos eligen Treemap para jerarquía, Line Chart with Points para tiempo y Radar para comparación bajo mayoría, IRV y Borda. Las cuotas Borda son 47/43/43 %, 46/52/49 % y 31/35/28 %. Apriori cambia el ganador en 5 de 27 celdas, sobre todo hacia Pie en comparación, y el promedio Likert también produce ganadores distintos y menor estabilidad. En 1.000 bootstraps, jerarquía y tiempo tienen 97,6-100 % de estabilidad; comparación cae a 91,6 %, 97,7 % y 53,4 % según grupo. Pero el bootstrap trata las ejecuciones duplicadas como unidades persona y no representa incertidumbre sobre los 43 perfiles únicos ni sobre su derivación estatal.

Los tres modelos coinciden en el primer gráfico de las nueve combinaciones grupo-contexto. La evidencia decisiva es que una condición sin persona recupera el mismo ganador en 8 de 9 combinaciones modelo-contexto; la excepción es una casi igualdad de GPT-5-mini donde Radar queda segundo. El contexto de la tarea, por tanto, domina la primera posición. La persona modifica niveles de puntuación y posiciones inferiores más que el ganador. El Kendall tau medio entre modelos es 0,79, con medias por pareja 0,889, 0,778 y 0,711; cinco de 27 celdas bajan de 0,5, principalmente en el tercer grupo. Los modelos mixtos tampoco cambian ningún ganador, aunque el tercer grupo puntúa aproximadamente 0,93 puntos menos que el primero en la escala de 7. Esa diferencia puede ser un estilo de respuesta inducido por el prompt, no una preferencia visual.

Las 12 regresiones OLS de GPT-4.1-mini usan 60 filas, cinco rasgos simultáneos y no tienen holdout. Informan 36 de 60 coeficientes significativos tras Holm, pero los perfiles repetidos reducen la independencia y los coeficientes completos no están disponibles. Tampoco hay validación humana emparejada. Los ganadores difieren del estudio humano citado para jerarquía y tiempo, y los autores correctamente no afirman una réplica. No se miden comprensión, precisión de tarea, tiempo, accesibilidad, carga cognitiva, confianza, satisfacción ni calidad de una visualización aplicada.

La reproducibilidad está incompleta. El texto afirma que todos los prompts, asignaciones de perfiles y clusters, estadísticas Mantel, sensibilidades, regresiones, rankings, matrices Kendall y baseline sin persona están en Supplemental.pdf. Ese archivo no forma parte del tar de arXiv, las rutas auxiliares devuelven 404 y no se encontró una copia pública en búsquedas por título, autores, OSF o GitHub. El archivo fuente contiene TeX y cinco figuras, pero no código, datos, outputs o scripts. Tampoco se identifican snapshots exactos de modelo o fechas de API. Por ello, las tablas resumidas pueden describirse, pero la mayor parte de los resultados exactos no puede verificarse ni reproducirse.

La aportación más sólida no es una recomendación de colores o gráficos ni una demostración de personalidad humana simulada. Es una advertencia metodológica: la variación visual puede confundirse con señal de persona; la señal cambia con el modelo y el protocolo; el tratamiento circular y la agregación alteran la magnitud o el ganador; y un baseline neutro revela que el contexto explica casi toda la primera elección. Antes de interpretar personas LLM como usuarios hacen falta múltiples configuraciones, conceptos muestreados, perfiles individuales válidos, control sin persona, análisis que respete repeticiones, artefactos completos y calibración directa con humanos.