Stable Behavior, Limited Variation: Persona Validity in LLM Agents for Urban Sentiment Perception

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Neemias B da Silva, Rodrigo Minetto, Daniel Silver, Thiago H Silva

Palabras clave: Persona prompting, Multimodal LLMs, Synthetic annotators, Urban sentiment, Human-AI agreement, Extremity bias, Persona validity, Reproducibility audit

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
10
Hallazgos
21
Limitaciones
3
Evidencias

Resumen editorial

Español

Este preprint pregunta si etiquetas simples de persona producen juicios de sentimiento urbano estables, diferentes entre perfiles y válidos como aproximación a la percepción humana. Con Qwen3-VL:8B servido en Ollama, cruza género, nivel económico, orientación política y estilo de personalidad en 24 perfiles. Para cada perfil realiza 50 llamadas sobre las mismas 50 imágenes de PerceptSent: 60.000 intentos, de los que el artefacto publica 59.708 respuestas válidas y 292 fallos. También ejecuta el mismo modelo sin persona, con y sin razonamiento, cinco veces por imagen. Las repeticiones bajo un perfil idéntico convergen mucho: en 1.200 grupos perfil-imagen el acuerdo con la clase modal promedia 0,871 y la mediana es 0,98. Sin embargo, esa estabilidad no equivale a diversidad válida. El contraste global entre perfiles es significativo por el gran número de filas, pero explica menos del 1% de la variación; género no tiene efecto, y nivel económico, política y personalidad muestran diferencias pequeñas. Además, el 77,34% de las predicciones con persona cae en las clases extremas negativa o positiva, frente a 65,2–66,0% sin persona. La concordancia con humanos empeora al pasar de polaridad gruesa a cinco clases, y los controles sin persona igualan o superan a la condición con persona en todas las variantes publicadas. La conclusión defendible es que estas cuatro etiquetas inducen respuestas muy repetibles y algo más extremas, pero aportan poco valor como anotadores humanos sintéticos en este escenario. La auditoría corrige varios detalles materiales. La Figura 5 compara predicciones del modelo sobre 50 imágenes con la distribución humana de las 5.000 imágenes: el 35,3% humano citado no corresponde a la muestra experimental, donde los extremos son 44,0%. El sesgo de extremidad continúa, pero la brecha comparable es unos 33,3 puntos, no 42,5. El texto describe validación cruzada de cinco pliegues, aunque el código sólo toma una submuestra sembrada del 60% por imagen y luego bootstrappea imágenes. Para los controles sin persona usa tres de cinco ejecuciones en el estimador puntual, no la moda de las cinco que declara el artículo. Al recalcular con las cinco, la conclusión no cambia, pero se reducen varias ventajas del control. Los CSV de acuerdo enlazados en README tampoco coinciden en nombres ni columnas con el cargador, por lo que esa parte no se reproduce sin reconstrucción. Finalmente, los 1.200 llamados agentes son ejecuciones sin memoria con sólo 24 combinaciones de etiquetas, no identidades persistentes ni personas independientes. No hay humanos con atributos emparejados a esas etiquetas, modelo jerárquico para imágenes y repeticiones, tests o CI; el tag Ollama no conserva digest de pesos. El trabajo muestra consistencia de obediencia a un prompt y una limitación útil de las personas simples, no realismo demográfico, personalidad psicológica ni simulación individual válida.

English

This preprint asks whether simple persona labels produce urban-sentiment judgments that are stable, distinct across profiles and valid as proxies for human perception. Using Qwen3-VL:8B through Ollama, it crosses gender, economic status, political orientation and personality style into 24 profiles. It makes 50 calls per profile on the same 50 PerceptSent images: 60,000 attempts, of which the artifact releases 59,708 valid responses and 292 failures. The same model is also run without a persona, with and without thinking, five times per image. Repetitions under an identical profile converge strongly: across 1,200 profile-image groups, agreement with the modal class averages 0.871 and has a median of 0.98. Stability, however, is not the same as valid diversity. The global profile contrast is statistically significant under the very large row count but explains less than 1% of variation; gender has no effect, while economic status, politics and personality produce small differences. Persona-conditioned outputs also place 77.34% of predictions in the extreme Negative or Positive classes, versus 65.2-66.0% without a persona. Human agreement deteriorates from coarse polarity to five classes, and no-persona controls match or exceed persona-conditioned predictions in every published task variant. The defensible conclusion is that these four labels induce highly repeatable and somewhat more extreme outputs but add little value as synthetic human annotators in this setting. Audit identifies several material reporting issues. Figure 5 compares model predictions on 50 images against the human distribution over all 5,000 images: the cited 35.3% human extreme share is not the experimental sample, where extremes are 44.0%. Extremity bias remains, but the matched gap is about 33.3 points rather than 42.5. The paper describes five-fold cross-validation, whereas the code draws one seeded 60% subsample per image and then bootstraps images. For no-persona controls the point estimate uses three of five runs, not the all-five modal class stated in the paper. Recalculation with all five preserves the conclusion but narrows several control advantages. Agreement CSVs linked by the README also have filenames and columns incompatible with the loader, so that analysis is not reproducible without reconstruction. Finally, the 1,200 entities called agents are stateless calls over only 24 label combinations, not persistent identities or independent people. There are no humans whose attributes are matched to the labels, no hierarchical model for images and repetitions, no tests or CI, and the Ollama tag does not preserve a model-weight digest. The work demonstrates consistency of prompt compliance and a useful limitation of simple personas, not demographic realism, psychological personality or valid individual simulation.

Pregunta de investigación

¿Producen cuatro etiquetas demográficas y de estilo personas multimodales cuyos juicios sobre escenas urbanas sean reproducibles dentro del perfil, diferenciables entre perfiles y concordantes con la percepción humana, o el mismo modelo sin persona funciona igual o mejor?

Método

El estudio usa Qwen3-VL:8B local mediante Ollama con temperatura 0,1, semilla 42 y razonamiento activado. Cruza género masculino/femenino, nivel económico bajo/alto, política progresista/conservadora y estilo analítico/empático/pragmático para formar 24 perfiles. Cada perfil se repite 50 veces sobre 50 imágenes de PerceptSent seleccionadas por clase modal humana y contexto interior/exterior. El prompt presenta las cuatro etiquetas, ordena al modelo ser esa persona y no una IA, y solicita sentimiento en cinco clases, percepciones, descripción y justificación. Se miden acuerdo modal y varianza dentro del perfil, Kruskal-Wallis entre perfiles y Mann-Whitney o Kruskal-Wallis por factor. Dos controles sin persona, con y sin razonamiento, producen cinco anotaciones por imagen. La concordancia con humanos se evalúa en cuatro mapeos de etiquetas y tres umbrales de acuerdo. La auditoría leyó visualmente las 8 páginas, inspeccionó TeX, commit, código, notebooks, datos y documentación, recompuso las 60.000 claves y distribuciones, reprodujo tests y sensibilidad por imagen, reconstruyó los 12 subconjuntos de acuerdo y recalculó el control usando las cinco ejecuciones declaradas.

Muestra: Hay 24 combinaciones de etiquetas y 50 llamadas por combinación, llamadas agentes por el artículo, sobre las mismas 50 imágenes: 60.000 pares identificador-imagen previstos. Se publican 59.708 éxitos y 292 fallos, cuya unión cubre exactamente las 60.000 claves sin duplicados; cada perfil tiene 50 llamadas. Para cada control sin persona hay cinco ejecuciones por imagen, 250 respuestas. La muestra humana original contiene 5.000 imágenes con cinco anotaciones cada una, pero el experimento usa 50: 11 Negative, 11 Positive, 11 Neutral, 9 Slightly Negative y 8 Slightly Positive según la moda humana. No se reclutan personas de los grupos demográficos o estilos simulados.

Hallazgos

  • El acuerdo modal dentro de 1.200 grupos perfil-imagen es 0,8707 de media y 0,98 de mediana; la varianza de sentimiento media es 0,2114 y su mediana 0,02.
  • El contraste de los 24 perfiles reproduce H(23)=489,52, p=5,33e-89 y epsilon cuadrado=0,0078; la diferencia entre medias extremas es sólo 0,552 en una escala de -2 a +2.
  • Género no muestra efecto; nivel económico, política y estilo de personalidad presentan diferencias pequeñas que también conservan dirección al bloquear por imagen.
  • Las predicciones con persona son 42,88% negativas, 34,46% positivas, 11,48% neutrales, 6,08% ligeramente negativas y 5,09% ligeramente positivas: 77,34% en extremos.
  • Sin persona, los extremos son 65,2% con razonamiento y 66,0% sin razonamiento.
  • La muestra experimental humana tiene 44,0% de clases extremas; el 35,3% de Figura 5 pertenece al corpus completo de 5.000 imágenes.
  • La concordancia con humanos empeora al aumentar la resolución de dos a cinco clases.
  • Bajo el procedimiento del código, los controles sin persona igualan o superan a la condición con persona en todos los mapeos y umbrales.
  • Usar la moda de las cinco ejecuciones sin persona, como dice el artículo, reduce varias macro-F1 del control pero no revierte ninguna comparación principal.
  • Los datos permiten verificar integridad, distribuciones, convergencia y pruebas principales, pero la descarga documentada de acuerdo no alimenta el cargador sin reparación.

Limitaciones

  • Sólo se prueba un tag mutable de Qwen3-VL:8B, un prompt en inglés y 50 imágenes.
  • Las 1.200 unidades llamadas agentes son llamadas sin memoria con sólo 24 perfiles, no agentes persistentes ni sujetos independientes.
  • Las cuatro etiquetas simplifican identidades y pueden activar estereotipos del modelo.
  • No hay humanos cuyos atributos demográficos y de personalidad estén emparejados con los perfiles sintéticos.
  • La estabilidad bajo etiquetas idénticas mide repetibilidad, no realismo o validez de constructo.
  • Las pruebas por filas tratan 59.708 observaciones como independientes pese a compartir 50 imágenes y 1.200 identificadores de llamada.
  • No se usa un modelo mixto o bloqueado que represente conjuntamente imagen, perfil y repetición.
  • Las pruebas múltiples de perfiles y factores no tienen corrección familiar declarada.
  • La significación extrema convive con tamaños de efecto pequeños, incluido epsilon cuadrado 0,0078.
  • Figura 5 mezcla 50 imágenes del modelo con 5.000 imágenes humanas y sobrestima la brecha de extremidad.
  • Table IV da mediana de varianza 0,000 frente a 0,020 en datos y documentación, y redondea de forma inconsistente el tamaño de grupo.
  • El artículo dice validación cruzada de cinco pliegues, pero el código hace una única submuestra sembrada del 60% y bootstrap de imágenes.
  • La comparación sin persona usa tres de cinco ejecuciones por imagen en el estimador publicado, no las cinco declaradas.
  • La leyenda de Figura 8 llama out-of-fold a matrices que el código calcula con la moda completa del baseline.
  • El bootstrap fija antes una única submuestra modal y no incorpora incertidumbre de generación, pesos, perfiles o selección de imágenes.
  • Los archivos de acuerdo descargables tienen nombres alpha y columnas text/sentiment, mientras el cargador exige sigma e image_id/ground_truth.
  • Las imágenes JPEG no están versionadas y dependen de una descarga externa.
  • El modelo se identifica por qwen3-vl:8b sin digest, checksum de pesos, versión de Ollama o hardware.
  • El directorio de imágenes por defecto contiene una ruta absoluta /mnt/raid5 del equipo autoral.
  • No hay tests, CI ni regresiones numéricas, aunque hay licencia CC BY 4.0, pyproject y uv.lock.
  • Percepciones, captions y justificaciones generadas no reciben validación independiente para sustentar la validez de persona.

Qué no demuestra

  • Que las etiquetas creen una personalidad psicológica estable.
  • Que los perfiles representen a personas reales de bajo o alto nivel económico, progresistas, conservadoras, analíticas, empáticas o pragmáticas.
  • Que una diferencia provocada por una etiqueta reproduzca una diferencia humana del grupo correspondiente.
  • Que 50 repeticiones de un prompt constituyan 50 agentes independientes.
  • Que la alta concordancia interna demuestre identidad, memoria, autonomía o continuidad de agente.
  • Que el modelo sea un sustituto válido de anotadores humanos individuales o poblaciones urbanas.
  • Que la significación por filas implique efectos grandes o útiles en la práctica.
  • Que la comparación humana de 35,3% sea válida para las 50 imágenes experimentales.
  • Que se haya ejecutado validación cruzada de cinco pliegues u obtenido predicciones out-of-fold.
  • Que los intervalos incluyan variación de modelo, generación, prompt, perfiles o selección del corpus.
  • Que el resultado se generalice a otros VLM, pesos, prompts, idiomas, ciudades, tareas o escalas de sentimiento.
  • Que persona prompting mejore la anotación: en este diseño el control sin persona iguala o supera sus resultados.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.28048v2; repository commit 71fb693244686b0c1b6642d31008a1a39edd06c3

Fuente consultada: https://arxiv.org/abs/2604.28048

Revisión: Codex 8-page visual full-text, TeX, repository, 60,000-key integrity, denominator, agreement reconstruction, statistical, code and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Qwen3-VL:8B through a local Ollama tag
  • The same Qwen3-VL:8B setup without persona labels, with thinking enabled
  • The same Qwen3-VL:8B setup without persona labels, with thinking disabled

Instrumentos y métricas

  • Four-factor 24-profile persona prompt
  • Five-class urban sentiment classification
  • 593-term urban perception vocabulary
  • Within-profile modal agreement and sentiment variance
  • Kruskal-Wallis profile and personality tests
  • Mann-Whitney gender, economic-status and political-orientation tests
  • Image-paired Wilcoxon and Friedman sensitivity checks added in audit
  • Four human-agreement label mappings at sigma 3, 4 and 5
  • Macro-F1 and Cohen kappa
  • Image bootstrap confidence intervals

Datos utilizados

  • PerceptSent metadata for 5,000 urban images with five human annotations per image
  • Fifty selected PerceptSent image IDs; raw JPEGs require external download
  • 59,708 successful persona-conditioned annotations
  • 292 failed persona-conditioned annotation records
  • 250 no-persona annotations with thinking
  • 250 no-persona annotations without thinking
  • Twelve human-agreement subsets reconstructed during audit because documented downloads do not match the loader

Evidencia y localización

  • Texto completo, tablas, figuras, diseño, discusión y limitaciones: arXiv:2604.28048v2; PDF sha256 de46c343df3278e520b2cdf597e4b376b05d36fd515ad199fed7321fc0d63d42
  • Código, datos, resultados, documentación, notebooks y figuras: GitHub neemiasbsilva/mllm-persona-evaluation commit 71fb693244686b0c1b6642d31008a1a39edd06c3; archive sha256 5f43c900ad9aa3eef172abeee5dc9004a1a0b01a073cfe530e9b8ff4353a9a28
  • Auditoría de unidades, denominadores, comparación humana, validación cruzada, estadística, constructo y reproducibilidad: reports/verification/article-354-urban-sentiment-persona-validity-denominator-cross-validation-statistics-and-reproducibility-audit.json