LLM-Based Visualization Evaluation: How Well Do Literacy-Stratified Personas Approximate Human Judgments?

The paper introduces LSLE, a framework that asks a multimodal LLM to respond as a person with low, medium, or high visualization literacy. It tests Claude Sonnet 4.6 at temperature .7 with ten generations per item and condition. The study administers all 53 VLAT items and the five BeauVis items over three visualizations in both image and structured-text modes, and includes a no-persona condition. The main result is negative: the personas do not produce the expected human gradient. On image-mode VLAT, low/medium/high score .75/.73/.75 versus .69 without a persona and a single published human aggregate near .65. In text mode all conditions reach .97–.98 because the description supplies chart type, axes, values, legend, and visual features, removing much of the perceptual task. Agreement with human item-difficulty ordering is weak in image mode and strongest without a persona (Spearman .44 versus .31/.24/.23); text-mode correlations are negative or near zero. The high-minus-low gap does not track published human item discrimination (r=-.08 image; -.15 text). The paper's own pooled table shows that every persona is farther from the human reference than the no-persona model: JSD .328/.343/.338 versus .289. On BeauVis it preserves the coarse BeamTree < StarTree < Sunburst order but overestimates appeal and does not establish a literacy effect. The audit prevents treating this as validation against human strata. The study has no individual human responses and constructs no human low/medium/high groups: all three personas are compared with the same published mean, difficulty, and discrimination statistics. The VLAT discrimination index is also not an observed human stratum gap equivalent to synthetic high-minus-low performance. Prompts directly prescribe chart-specific capabilities, errors, and confidence, with no reported calibration procedure, prompt alternatives, or held-out test set. The VLAT thresholds are correctly copied from the original 54-item tryout (mean 34.72, SD 7.05), but that administration offered an `Omit` option and guessing-corrected scores, whereas LSLE uses raw accuracy on the final 53 items without documenting omission or answer-order handling. A further factual error concerns BeauVis: the paper states N=150, while the primary validation recruited 201 and analyzed 197 after four exclusions; its bibliography also changes first author Tingying He to Tong He. Although the method declares JSD and Earth Mover's Distance, it reports no EMD value. It also omits the full prompts despite referring to supplementary material, exact stimuli and text descriptions, raw outputs, human distributions used, code, parser, failures, complete API configuration, and the statistics needed to reproduce correlations, JSD, or t-tests. Ten completions per item produce coarse uncertain distributions without intervals or sensitivity analysis. The defensible contribution is therefore a cautionary negative benchmark: verbal literacy descriptions can distort a capable model's answers without recreating human differences. The recommendation to use LSLE only as a formative complement is appropriately cautious, but usefulness for screening new designs remains untested.

El artículo presenta LSLE, un marco para pedir a un LLM multimodal que responda como una persona con alfabetización visual baja, media o alta. Lo prueba con Claude Sonnet 4.6, temperatura 0,7 y diez generaciones por ítem y condición. Evalúa los 53 ítems del VLAT y los cinco ítems BeauVis sobre tres visualizaciones, tanto a partir de la imagen como de una descripción textual estructurada; añade una condición sin persona. El resultado principal es negativo: las personas no producen el gradiente humano esperado. En VLAT con imagen, baja/media/alta obtienen 0,75/0,73/0,75 frente a 0,69 sin persona y un promedio humano agregado cercano a 0,65. Con texto todas quedan en 0,97–0,98 porque la descripción entrega tipo de gráfico, ejes, valores, leyenda y rasgos visuales, eliminando buena parte de la tarea perceptiva. La concordancia del orden de dificultad con humanos es débil en imagen y máxima sin persona (Spearman 0,44 frente a 0,31/0,24/0,23); con texto es negativa o casi nula. La diferencia alta-menos-baja no sigue la discriminación humana por ítem (r=-0,08 en imagen; -0,15 en texto). La propia tabla conjunta muestra que cada persona se aleja más de la referencia humana que el modelo sin persona: JSD 0,328/0,343/0,338 frente a 0,289. En BeauVis conserva el orden grueso BeamTree < StarTree < Sunburst, pero sobrevalora el atractivo y no demuestra un efecto de alfabetización. La auditoría impide interpretar esto como validación de estratos humanos. El estudio no dispone de respuestas individuales ni construye grupos humanos bajo/medio/alto: compara las tres personas contra el mismo promedio, dificultad y discriminación publicados. El índice de discriminación VLAT tampoco es una diferencia observada entre estratos equivalente a alta-menos-baja. Los prompts prescriben directamente capacidades, errores por tipo de gráfico y confianza, sin calibración descrita, alternativas de prompt ni conjunto de prueba separado. Los umbrales VLAT sí están bien copiados del ensayo original de 54 ítems (media 34,72; DE 7,05), pero aquel protocolo ofrecía `Omit` y corrección por azar, mientras LSLE usa exactitud bruta sobre los 53 ítems finales sin documentar omisiones ni orden de respuestas. Hay un error factual adicional: el paper atribuye N=150 a la validación BeauVis, pero el trabajo primario reclutó 201 y analizó 197 tras cuatro exclusiones; su bibliografía también cambia Tingying He por Tong He. Aunque declara JSD y Earth Mover's Distance, no presenta ningún valor EMD. Tampoco publica prompts completos pese a remitir a material suplementario, imágenes y descripciones exactas, respuestas, datos humanos empleados, código, parser, fallos, configuración completa de API ni estadísticos suficientes para reproducir correlaciones, JSD o t-tests. Con diez completaciones por ítem, las distribuciones son además discretas e inciertas, sin intervalos ni análisis de sensibilidad. La aportación defendible es por tanto una advertencia empírica: describir verbalmente niveles de alfabetización puede distorsionar las respuestas de un modelo competente sin recrear diferencias humanas. La recomendación de usar LSLE solo como complemento formativo es prudente, pero su utilidad para seleccionar diseños nuevos todavía no se evalúa.