LLM-Based Visualization Evaluation: How Well Do Literacy-Stratified Personas Approximate Human Judgments?

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Swaroop Panda

Palabras clave: Visualization literacy, LLM-as-participant, Human simulation, Psychometric validation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

1
Autores
7
Hallazgos
10
Limitaciones
5
Evidencias

Resumen editorial

Español

El artículo presenta LSLE, un marco para pedir a un LLM multimodal que responda como una persona con alfabetización visual baja, media o alta. Lo prueba con Claude Sonnet 4.6, temperatura 0,7 y diez generaciones por ítem y condición. Evalúa los 53 ítems del VLAT y los cinco ítems BeauVis sobre tres visualizaciones, tanto a partir de la imagen como de una descripción textual estructurada; añade una condición sin persona. El resultado principal es negativo: las personas no producen el gradiente humano esperado. En VLAT con imagen, baja/media/alta obtienen 0,75/0,73/0,75 frente a 0,69 sin persona y un promedio humano agregado cercano a 0,65. Con texto todas quedan en 0,97–0,98 porque la descripción entrega tipo de gráfico, ejes, valores, leyenda y rasgos visuales, eliminando buena parte de la tarea perceptiva. La concordancia del orden de dificultad con humanos es débil en imagen y máxima sin persona (Spearman 0,44 frente a 0,31/0,24/0,23); con texto es negativa o casi nula. La diferencia alta-menos-baja no sigue la discriminación humana por ítem (r=-0,08 en imagen; -0,15 en texto). La propia tabla conjunta muestra que cada persona se aleja más de la referencia humana que el modelo sin persona: JSD 0,328/0,343/0,338 frente a 0,289. En BeauVis conserva el orden grueso BeamTree < StarTree < Sunburst, pero sobrevalora el atractivo y no demuestra un efecto de alfabetización. La auditoría impide interpretar esto como validación de estratos humanos. El estudio no dispone de respuestas individuales ni construye grupos humanos bajo/medio/alto: compara las tres personas contra el mismo promedio, dificultad y discriminación publicados. El índice de discriminación VLAT tampoco es una diferencia observada entre estratos equivalente a alta-menos-baja. Los prompts prescriben directamente capacidades, errores por tipo de gráfico y confianza, sin calibración descrita, alternativas de prompt ni conjunto de prueba separado. Los umbrales VLAT sí están bien copiados del ensayo original de 54 ítems (media 34,72; DE 7,05), pero aquel protocolo ofrecía `Omit` y corrección por azar, mientras LSLE usa exactitud bruta sobre los 53 ítems finales sin documentar omisiones ni orden de respuestas. Hay un error factual adicional: el paper atribuye N=150 a la validación BeauVis, pero el trabajo primario reclutó 201 y analizó 197 tras cuatro exclusiones; su bibliografía también cambia Tingying He por Tong He. Aunque declara JSD y Earth Mover's Distance, no presenta ningún valor EMD. Tampoco publica prompts completos pese a remitir a material suplementario, imágenes y descripciones exactas, respuestas, datos humanos empleados, código, parser, fallos, configuración completa de API ni estadísticos suficientes para reproducir correlaciones, JSD o t-tests. Con diez completaciones por ítem, las distribuciones son además discretas e inciertas, sin intervalos ni análisis de sensibilidad. La aportación defendible es por tanto una advertencia empírica: describir verbalmente niveles de alfabetización puede distorsionar las respuestas de un modelo competente sin recrear diferencias humanas. La recomendación de usar LSLE solo como complemento formativo es prudente, pero su utilidad para seleccionar diseños nuevos todavía no se evalúa.

English

The paper introduces LSLE, a framework that asks a multimodal LLM to respond as a person with low, medium, or high visualization literacy. It tests Claude Sonnet 4.6 at temperature .7 with ten generations per item and condition. The study administers all 53 VLAT items and the five BeauVis items over three visualizations in both image and structured-text modes, and includes a no-persona condition. The main result is negative: the personas do not produce the expected human gradient. On image-mode VLAT, low/medium/high score .75/.73/.75 versus .69 without a persona and a single published human aggregate near .65. In text mode all conditions reach .97–.98 because the description supplies chart type, axes, values, legend, and visual features, removing much of the perceptual task. Agreement with human item-difficulty ordering is weak in image mode and strongest without a persona (Spearman .44 versus .31/.24/.23); text-mode correlations are negative or near zero. The high-minus-low gap does not track published human item discrimination (r=-.08 image; -.15 text). The paper's own pooled table shows that every persona is farther from the human reference than the no-persona model: JSD .328/.343/.338 versus .289. On BeauVis it preserves the coarse BeamTree < StarTree < Sunburst order but overestimates appeal and does not establish a literacy effect. The audit prevents treating this as validation against human strata. The study has no individual human responses and constructs no human low/medium/high groups: all three personas are compared with the same published mean, difficulty, and discrimination statistics. The VLAT discrimination index is also not an observed human stratum gap equivalent to synthetic high-minus-low performance. Prompts directly prescribe chart-specific capabilities, errors, and confidence, with no reported calibration procedure, prompt alternatives, or held-out test set. The VLAT thresholds are correctly copied from the original 54-item tryout (mean 34.72, SD 7.05), but that administration offered an `Omit` option and guessing-corrected scores, whereas LSLE uses raw accuracy on the final 53 items without documenting omission or answer-order handling. A further factual error concerns BeauVis: the paper states N=150, while the primary validation recruited 201 and analyzed 197 after four exclusions; its bibliography also changes first author Tingying He to Tong He. Although the method declares JSD and Earth Mover's Distance, it reports no EMD value. It also omits the full prompts despite referring to supplementary material, exact stimuli and text descriptions, raw outputs, human distributions used, code, parser, failures, complete API configuration, and the statistics needed to reproduce correlations, JSD, or t-tests. Ten completions per item produce coarse uncertain distributions without intervals or sensitivity analysis. The defensible contribution is therefore a cautionary negative benchmark: verbal literacy descriptions can distort a capable model's answers without recreating human differences. The recommendation to use LSLE only as a formative complement is appropriately cautious, but usefulness for screening new designs remains untested.

Pregunta de investigación

¿Puede un LLM multimodal condicionado con descripciones de alfabetización visual baja, media y alta aproximar la exactitud, el orden de dificultad, la discriminación y las distribuciones de juicio observadas en humanos en VLAT y BeauVis mejor que el mismo modelo sin persona?

Método

Se construyen tres prompts de sistema a partir de umbrales de una desviación estándar del ensayo VLAT original. Claude Sonnet 4.6 responde a cada ítem bajo persona baja, media, alta o sin persona, con diez muestras a temperatura 0,7. Se cruzan imagen/descripción textual y VLAT/BeauVis, y se reportan exactitud, correlación de dificultad, JSD, una correlación de discriminación y t-tests pareados contra la condición base. La auditoría revisa las 25 páginas, el TeX completo, la aritmética BeauVis, las fuentes primarias VLAT y BeauVis y la disponibilidad de artefactos.

Muestra: Un único modelo propietario; tres personas y una condición sin persona; dos modos; dos instrumentos; diez completaciones por ítem y condición. La referencia VLAT publicada procede de 191 participantes en el ensayo, pero no se dispone de respuestas individuales ni estratos humanos. BeauVis analizó 197 participantes, no los 150 indicados por LSLE.

Hallazgos

  • No aparece orden baja < media < alta: en VLAT con imagen las personas puntúan 0,75/0,73/0,75 y con texto 0,98/0,97/0,97.
  • La condición sin persona tiene la mayor correlación con la dificultad humana en imagen (rho=0,44) y menor JSD global que las tres personas.
  • La diferencia sintética alta-menos-baja no reproduce la discriminación humana por ítem: r=-0,08 en imagen y r=-0,15 en texto.
  • El modo textual crea un techo de 97–98% y no conserva el orden humano de dificultad, coherente con haber eliminado gran parte de la decodificación gráfica.
  • BeauVis conserva el orden grueso de los tres estímulos, pero sobreestima sus puntuaciones humanas entre aproximadamente 0,6 y 1,4 puntos.
  • Los doce compuestos BeauVis publicados sí reproducen la media aritmética de sus cinco ítems, dentro del redondeo.
  • La dirección de los t-tests publicados es adversa a LSLE: todas las personas aumentan significativamente el JSD frente al modelo sin persona.

Limitaciones

  • No hay grupos humanos bajo/medio/alto correspondientes; las tres personas se comparan con un único agregado histórico.
  • Los prompts codifican directamente habilidades, fallos y confianza evaluados, sin calibración reproducible ni prueba fuera de muestra.
  • La descripción textual entrega valores y rasgos y por tanto no es equivalente a leer el gráfico.
  • Solo se estudia un modelo, un prompt por estrato, una temperatura y diez muestras por ítem.
  • No se publican prompts completos, estímulos usados, descripciones, respuestas, código, datos, parser, errores ni configuración ejecutable.
  • EMD se declara repetidamente pero no se reporta; JSD, correlaciones y p-valores no pueden recalcularse.
  • El t-test no informa unidad de pareado, n, grados de libertad, estadístico, intervalos ni corrección por tres comparaciones.
  • La cifra BeauVis N=150 contradice la fuente primaria, que analiza N=197.
  • No se documentan opción `Omit`, corrección por azar, aleatorización de opciones ni sesgo posicional para VLAT.
  • La utilidad para cribado de diseños nuevos se recomienda pero no se somete a una evaluación de decisiones o resultados humanos posteriores.

Qué no demuestra

  • No demuestra que las personas LLM representen estratos humanos reales de alfabetización visual.
  • No demuestra fidelidad de percepción gráfica, metacognición, estrategias cognitivas ni variabilidad individual.
  • No demuestra que usar persona mejore la alineación humana; las métricas publicadas muestran el efecto contrario.
  • No demuestra que conservar el orden de tres estímulos BeauVis dependa de alfabetización o equivalga a simular preferencias humanas.
  • No valida EMD, significación inferencial robusta ni reproducibilidad independiente.
  • No valida todavía LSLE como herramienta para seleccionar diseños en un flujo real de UI/UX o visualización.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.10095v1

Fuente consultada: https://arxiv.org/abs/2606.10095v1

Revisión: Codex twenty-five-page full-text visual, TeX, primary-human-baseline, psychometric, statistical, arithmetic and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Claude Sonnet 4.6 (identificador exacto y fecha de snapshot no informados)

Instrumentos y métricas

  • Visualization Literacy Assessment Test (VLAT, 53 ítems finales; umbrales tomados del ensayo de 54 ítems)
  • BeauVis, escala de placer estético de cinco ítems sobre BeamTree, StarTree y Sunburst

Datos utilizados

  • Estadísticos humanos publicados de la validación VLAT
  • Estadísticos humanos publicados de la validación BeauVis
  • Respuestas sintéticas no publicadas de Claude en modo imagen y descripción textual

Evidencia y localización

  • Metadatos, versión y condición de preprint: Official arXiv record 2606.10095v1, checked 2026-07-17
  • Método, tablas, discusión, limitaciones y ausencia del suplemento prometido: arXiv v1, all twenty-five PDF pages and complete TeX source
  • Cifras, Omit, corrección por azar y diferencia entre ensayo y validación VLAT: Lee, Kim and Kwon 2017 primary VLAT paper, pp. 556-558
  • Tamaño real de la validación BeauVis y materiales abiertos originales: He et al. 2023 primary BeauVis paper, Section 7; 201 recruited, 197 analyzed
  • Auditoría de estratos humanos, métricas, estadística, aritmética y reproducibilidad: reports/verification/article-303-lsle-human-strata-aggregate-baseline-persona-failure-statistical-and-artifact-audit.json