Analyzing Persona Effects in Generated Explanations from Multimodal LLM Agents in Urban Perception

This preprint asks whether persona labels alter Qwen3-VL:8B captions, perception tags, and sentiment justifications for 50 PerceptSent urban images. Binary gender, income, and political labels plus three author-chosen personality archetypes form 24 profiles, each repeated 50 times. All persona calls use the same model, temperature 0.1, seed 42, and think=True; two no-persona variants provide one output per image. The paper analyzes 59,708 persona rows and 100 no-persona rows with all-MiniLM-L6-v2 cosine similarity, tag-set Jaccard similarity, per-image within/cross comparisons, profile-pair Pearson correlation, and BERTopic. Captions are highly similar across profiles. Justifications show reported within-group advantages for income of 0.062 and politics of 0.044, both p<0.001; personality is 0.023, p=0.052, and gender 0.002, p=0.702. No caption or tag dimension reaches p<0.05. Justification and tag divergence correlate at r=0.67. The defensible finding is narrow: with this model and prompt, demographic instructions leave more signal in the field explicitly required to speak in the persona's voice than in the field explicitly required to remain objective and persona-independent. The full artifact audit exposes major omitted boundaries. The factorial design requires 60,000 persona rows, but 292 failed. Failures are item-clustered: 185 occur on one image, 48 on another, and 21 on a third. Failure rates also vary by profile label, yet the paper says every agent annotated all 50 images and provides no missing-data policy. More seriously, the released pipeline accepts a row whenever sentiment is valid; it does not require the other fields or enforce tag vocabulary membership. The 59,708 accepted rows contain 290 empty justifications, 32 empty captions, 13 empty tag lists, and 6,820 out-of-vocabulary selections affecting 6,652 rows. Only 53,043 rows have a non-empty, fully valid tag list. Some records leak persona commentary into captions while leaving justification empty. The paper does not describe cleaning for the exact fields it analyzes. The 50 nominal agents per profile are not independent persons or prompts: persona ID is absent from the prompt, so they are repeated stochastic calls with identical labels, image, model, seed, and configuration. Text varies, but the generalization units remain 24 prompts, 50 images, and one model. Construct interpretation is further limited because the prompt mandates persona-independent captions and persona-voiced justifications. Thus the central contrast is partly an instruction manipulation check. Released examples literally repeat conservative, low-income, and progressive framing, so measured separation may be label leakage and stereotype reproduction rather than human perception. Pragmatic, Empathetic, and Analytical are not a validated personality instrument, and no demographically matched human outputs establish persona validity. The per-image within/cross summaries are naturally paired, but the paper reports unpaired Mann-Whitney tests. At least twelve comparisons lack multiplicity correction, confidence intervals, or standardized effects. Profile-pair Pearson p-values ignore shared profiles and images and require matrix-aware permutation. BERTopic configuration, outlier handling, topic naming, Jensen-Shannon values, tests, and uncertainty are absent; topic patterns are also strongly confounded with sentiment. The no-persona comparison contrasts one realization and a centroid with average pairwise persona similarity, so it cannot rule out stochastic variation despite the paper's claim. Finally, the manuscript promises a public repository, but the rendered note says it will appear after publication and the commented GitHub URL is unavailable. The upstream corpus repository exposes generation and raw outputs, enabling this integrity audit, but not the embeddings, topic model, statistical code, or processed artifacts for this paper. The release supports prompt-conditioned linguistic variation, not faithful demographic simulation, human perceptual validity, improved annotation, psychological causality, or generalization across models, cultures, images, and prompts.

Este preprint estudia si etiquetas de persona cambian tres salidas de Qwen3-VL:8B al describir 50 imágenes urbanas de PerceptSent: caption, etiquetas de percepción y justificación del sentimiento. Cruza género binario, nivel económico binario, orientación política binaria y tres arquetipos llamados Pragmatic, Empathetic y Analytical para formar 24 perfiles. Cada perfil se repite 50 veces, dando 1.200 identificadores de agente. Cada llamada usa el mismo modelo, temperatura 0,1, seed 42 y, para las personas, think=True. El corpus publicado contiene 59.708 salidas de persona y dos baselines sin persona de 50 salidas cada uno. El análisis aplica all-MiniLM-L6-v2 y coseno a captions y justificaciones, Jaccard a tags, comparaciones within/cross con Mann-Whitney por imagen, Pearson entre matrices de perfil y BERTopic sobre justificaciones. El resultado descriptivo central es coherente con la intervención: los captions convergen entre perfiles, mientras las justificaciones muestran más variación. En justificaciones, compartir nivel económico aumenta la similitud en 0,062 y compartir orientación política en 0,044, ambos con p<0,001; personality queda en 0,023, p=0,052, y género en 0,002, p=0,702. Ninguna dimensión alcanza p<0,05 para captions o tags. La divergencia entre perfiles en justificaciones correlaciona con la de tags, r=0,67, p<0,001. Los temas de justificación se asocian a sentimiento, deterioro, belleza, trabajo y desarrollo. Frente al pool de persona, los dos outputs sin persona por imagen tienen similitudes cercanas: captions 0,865 y 0,862 frente a 0,873 del pool; justificaciones 0,550 y 0,539 frente a 0,564. La contribución defendible es estrecha: bajo este prompt y modelo, las instrucciones demográficas dejan más huella en el campo que explícitamente exige hablar con la voz de la persona que en el campo que explícitamente exige ser objetivo e independiente de la persona. El estudio acierta además al advertir que estas salidas no son proxies de grupos humanos. La auditoría completa del PDF, TeX y corpus revela límites ausentes del resumen. Primero, el diseño completo exige 24*50*50=60.000 filas, no 59.708. Hay 292 fallos, fuertemente concentrados: 185 pertenecen a una imagen, 48 a otra y 21 a una tercera. El paper dice que cada agente anota las 50 imágenes y no publica política de missingness. Los fallos también varían por prompt: Empathetic falla 0,645% y Pragmatic 0,335%. Segundo, el pipeline upstream considera éxito cualquier JSON con sentimiento válido; no exige los otros campos ni valida que los tags pertenezcan al vocabulario. Entre las 59.708 filas aceptadas hay 290 justificaciones vacías, 32 captions vacíos, 13 listas de tags vacías, 6.820 selecciones fuera del vocabulario que afectan 6.652 filas y dos filas con seis tags pese al máximo de cinco. Solo 53.043 filas tienen tags no vacíos y completamente válidos. Algunos casos desplazan lenguaje de persona al caption y dejan la justificación vacía. El paper no explica limpieza o exclusión, aunque esas tres columnas son exactamente sus outcomes. Tercero, los 50 agentes por perfil no son personas independientes ni prompts distintos: reciben los mismos cuatro labels, la misma imagen, el mismo modelo, seed y configuración; persona_id no entra en el prompt. Son réplicas estocásticas de una misma intervención. La mediana por grupo perfil-imagen es 26 captions únicos y 49 justificaciones únicas, mientras la categoría de sentimiento modal ocupa 98%, así que sí existe variación textual, pero no 1.200 unidades humanas independientes. Las unidades de generalización siguen siendo 24 prompts, 50 imágenes y un modelo. Cuarto, la separación caption/justificación está diseñada por el propio prompt: caption debe ser objetivo y persona-independent; justification debe escribirse in your voice y justificar el score. Hallar mayor efecto de persona en la segunda columna demuestra sobre todo seguimiento de instrucciones distintas. Ejemplos publicados dicen literalmente que algo fits a conservative view o aligns with values; la señal puede ser fuga del label y estereotipo aprendido, no percepción humana. Pragmatic, Empathetic y Analytical tampoco proceden de una escala de personalidad validada. No hay anotadores humanos emparejados por demografía que permitan hablar de validez de persona. Quinto, los tests se describen como resúmenes within/cross por la misma imagen y luego Mann-Whitney no pareado; una prueba pareada o modelo jerárquico/cluster bootstrap respetaría mejor el diseño. Se reportan al menos 12 tests sin corrección múltiple, intervalos ni tamaños estandarizados. Los dos p<0,001 probablemente sobreviven una corrección simple, pero no resuelven la validez del constructo. El p de Pearson entre pares de perfiles tampoco puede tratar pares que comparten perfiles e imágenes como independientes; no se aporta permutación de matriz. Sexto, BERTopic carece de encoder, UMAP, HDBSCAN, seed, min-topic-size, política de outliers y regla de nombres. Se anuncia Jensen-Shannon pero no se publican valores, tests o IC. Como los temas se alinean mucho con el sentimiento ya alterado por el prompt, no se separa framing temático de mediación por label. Séptimo, el baseline no persona es estructural y geométricamente asimétrico: compara una única realización con un centroide, mientras el otro eje promedia cientos de pares. El propio paper lo reconoce, pero después afirma que confirma que el efecto no es stochastic variation. Una sola realización por imagen no permite esa conclusión. Finalmente, el manuscrito promete un repositorio público, pero la nota visible dice que estará disponible tras publicación y la URL comentada no existe. El repositorio del estudio previo sí publica generación y corpus y permite descubrir los problemas anteriores, pero no contiene embeddings, código BERTopic, matrices, tests ni outputs de este artículo. Ninguna figura específica puede recalcularse. Por tanto, el trabajo aporta evidencia de que un modelo repite labels demográficos en justificaciones cuando se le ordena adoptar esas labels; no demuestra simulación fiel de personas, percepción demográfica humana, mejora de anotación, causalidad psicológica ni generalización a otros modelos, culturas, imágenes o prompts.