Towards Automated Crowdsourced Testing via Personified-LLM

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Shengcheng Yu, Yuchen Ling, Chunrong Fang, Zhenyu Chen, Chunyang Chen

Palabras clave: Persona conditioning, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
8
Hallazgos
27
Limitaciones
6
Evidencias

Resumen editorial

Español

PersonaTester convierte nueve patrones de interacción extraídos de 1.500 trazas de crowdtesting en instrucciones para agentes que prueban 15 apps Android. Frente al mismo sistema sin persona, los perfiles producen rutas más repetibles y distintas, más eventos considerados efectivos y una unión mayor de fallos: el conjunto personificado reporta 132 crashes frente a 36 en nueve repeticiones del baseline y 11 bugs funcionales confirmados por tres autores, mientras el baseline activa tres. Es evidencia útil de que la diversidad estructurada puede ampliar la exploración. No demuestra, sin embargo, reproducción fiel de crowdworkers: las categorías se asignan a trazas, no a conducta repetida de cada trabajador; los prompts ordenan hacer clic, introducir texto o seguir flujos, y las métricas vuelven a medir esas mismas acciones. El estudio de 20 personas juzga encaje con descripciones de perfil, no similitud con humanos. Tampoco se prueba que las tres dimensiones sean ortogonales. La inferencia carece de intervalos o modelos jerárquicos, y el oracle de efectividad/crash depende de GPT-4o sin validación humana publicada para crashes. Hay código MIT y costes auditables, pero el entrypoint público falla por desempaquetado e ID incorrectos, omite el escenario y no libera datos, BiLSTM, resultados ni scripts de figuras. El trabajo respalda persona prompting como heurística de testing, no una multitud humana automatizada equivalente.

English

PersonaTester turns nine interaction patterns derived from 1,500 crowdtesting traces into instructions for agents testing 15 Android apps. Compared with the same system without persona conditioning, profiles produce more repeatable and distinct paths, more events judged effective, and a larger union of failures: the personified ensemble reports 132 crashes versus 36 across nine baseline repetitions and 11 functional bugs confirmed by three authors, while the baseline triggers three. This is useful evidence that structured diversity can broaden exploration. It does not, however, demonstrate faithful crowdworker reproduction: categories are assigned to traces rather than repeated behavior of each worker; prompts instruct agents to click, enter text or follow workflows, and the metrics measure those same actions again. The 20-person study rates fit to written profiles, not similarity to humans. Nor are the three dimensions shown to be orthogonal. Inference lacks intervals or hierarchical models, and effectiveness/crash oracles depend on GPT-4o without published human validation for crashes. MIT-licensed code and auditable cost sheets exist, but the public entrypoint fails because of incorrect unpacking and IDs, omits scenario wiring, and releases no raw results, BiLSTM, or figure scripts. The paper supports persona prompting as a testing heuristic, not an equivalent automated human crowd.

Pregunta de investigación

Si inyectar perfiles de mindset, estrategia de exploración y hábito de entrada en agentes LLM puede producir diversidad controlada de pruebas GUI y descubrir más fallos que repetir un agente no personificado.

Método

Tres autores etiquetan por consenso 1.500 trazas de un corpus público de crowdtesting y seleccionan nueve combinaciones que superan 1% y cubren 95,40% de la muestra. PersonaTester combina CV/OCR, GPT-4o para entender y validar pantallas, o4-mini para decidir acciones y ADB para ejecutarlas. Se prueba una tarea en cada una de 15 apps, cinco ejecuciones por configuración y 20 minutos por ejecución. RQ1 usa frases verbo-objeto, SBERT, BiLSTM y coseno; RQ2 calcula eventos considerados efectivos; RQ3 compara crashes y bugs funcionales. Veinte participantes puntúan vídeos frente a perfiles escritos y cinco estudiantes solo fijan el límite temporal.

Muestra: Nueve perfiles derivados de 1.500 trazas etiquetadas; nueve combinaciones de 18 posibles superan 1%, abarcan 2,27%-21,80% y cubren 95,40%. Experimentos sobre 15 apps Android, cuatro open-source y once comerciales, con una tarea manualmente elegida por app, cinco runs por configuración y 20 minutos. Veinte estudiantes de posgrado/profesionales QA evalúan vídeos; cinco estudiantes de posgrado realizan las tareas para estimar un tiempo humano de diez minutos. No se publican distribución de vídeos, subgrupos, pagos ni exclusiones.

Hallazgos

  • La cohesión intra-persona suele situarse en 0,88-0,99 frente a 0,31-0,70 del baseline; similitudes entre personas suelen ser menores, aproximadamente 0,27-0,67.
  • El artículo resume mejoras relativas de consistencia de 117,86%-126,23%, sin intervalos ni test inferencial.
  • Los 20 evaluadores puntúan 8,35 (SD 0,67) para mindset, 8,70 (SD 1,08) para estrategia y 8,80 (SD 0,77) para hábito de entrada.
  • La efectividad general de eventos mejora 33%-47% en la mayoría de perfiles; los input-oriented reportan 683,32%-697,50% respecto a un baseline bajo.
  • La unión personificada contiene 132 crashes distintos, 113 exclusivos y 19 compartidos, frente a 36 en nueve repeticiones del baseline, 17 exclusivos y 19 compartidos.
  • Cada persona reporta 29-38 crashes frente a 22 del baseline en comparaciones individuales.
  • Se confirman por consenso 11 bugs funcionales; Persona H activa seis, B y G cuatro, y el baseline tres, todos cubiertos también por agentes persona.
  • Las hojas públicas reproducen unos 0,404 USD de análisis GUI y 0,279 USD de decisión, aproximadamente 0,684 USD por tarea y agente.

Limitaciones

  • No compara agentes y crowdworkers reales en las mismas apps, tareas y métricas; diversidad prompt-controlled no equivale a fidelidad humana.
  • Etiqueta trazas aisladas, no conducta repetida por worker; no demuestra que el perfil sea estable dentro de una persona.
  • Los prompts prescriben click/input/core, secuencia y longitud/validez, y RQ1/RQ2 miden esas mismas señales; existe circularidad de constructo.
  • El estudio de 20 personas muestra reconocibilidad frente a perfiles escritos, no human-likeness, distribución poblacional o equivalencia con crowdworkers.
  • Llama ortogonales a las tres dimensiones sin tabla de asociación, test de independencia, factor analysis o evidencia por trabajador.
  • No reporta acuerdo previo al consenso para las 1.500 etiquetas ni codebook, adjudicaciones o incertidumbre.
  • El BiLSTM carece de corpus de entrenamiento, objetivo, split, loss, checkpoint, validación held-out y comparación con distancias simples; su ajuste fue asistido por GPT.
  • Los pares 10/25 de similitud reutilizan los mismos cinco runs; sin tratamiento por cluster pueden producir pseudorreplicación.
  • Runs están anidados en agente, app y tarea, pero no hay random effects, cluster bootstrap, intervalos ni pruebas RQ1-RQ3.
  • Solo hay una tarea elegida manualmente por app, sin muestreo de tareas, preregistro ni sensibilidad a alternativas.
  • El baseline solo quita persona; no controla longitud/detalle del prompt, otras estrategias de diversidad ni compara sistemas GUI LLM previos.
  • La relación entre cinco runs por configuración y nueve repeticiones acumuladas de X no se explica con una tabla total de runs, fallos, timeouts y exclusiones.
  • Efectividad es un juicio semántico de GPT-4o sin muestra humana, accuracy, agreement, cegamiento o error analysis.
  • Los porcentajes de entrada cercanos a 700% parten de baseline bajo y de instrucciones que ordenan buscar inputs; no son mejora general de calidad.
  • Solo bugs funcionales están descritos como confirmados manualmente. El oracle público de crash usa dos screenshots, no logcat, process exit o stack trace, y no se libera deduplicación de 132 crashes.
  • Faltas de screenshot o error de GPT-4o hacen pass por defecto en assertions; no se publican tasas de fallo.
  • Temperatura 0 no garantiza determinismo y o4-mini ni siquiera recibe temperature en el código; no hay snapshots, seeds, fechas ni respuestas archivadas.
  • El entrypoint público no funciona: get_app_info devuelve cinco valores y main desempaqueta cuatro; usa app-1 aunque el CSV usa 001, 015, etc.
  • El entrypoint omite el scenario devuelto por CSV, aunque el escenario es parte central del diseño experimental.
  • Hay rutas /home/lyc/Projects, credenciales vacías, acceso cwd-dependent, requirements sin scikit-image, sin .env de ejemplo, contenedor, tests o lockfile.
  • No se liberan etiquetas, IDs de worker, frecuencias, raw runs, BiLSTM, event labels, bugs, scripts estadísticos ni pipeline de tablas/figuras.
  • Random y DeepSeek solo aparecen como imágenes suplementarias sin tablas numéricas, modelos exactos, raw data, runs o incertidumbre.
  • Los comandos ADB usan shell=True con texto generado por el modelo y escape incompleto, un riesgo si el input no es confiable.
  • No hay ethics/IRB/consent/compensation para trazas secundarias, estudio de vídeo o cinco estudiantes; tampoco detalles de privacidad y retención.
  • Once apps son comerciales, pero faltan versiones, cuentas, fechas, red, términos, sandbox y procedimiento de responsible disclosure.
  • Screenshots, OCR e historial se envían a APIs alojadas sin discusión de PII, redacción, región, logging o retención.
  • La comparación de coste no incluye hardware, ingeniería, retries y validación humana ni publica pago de crowdworkers bajo condiciones equivalentes.

Qué no demuestra

  • No demuestra reproducción fiel de patrones humanos ni equivalencia con una multitud de crowdworkers.
  • No demuestra que una traza corresponda a una personalidad estable del trabajador.
  • No valida que las tres dimensiones sean ortogonales, psicométricas o independientes.
  • No separa plenamente efecto persona de obediencia a instrucciones de acción que luego vuelven a medirse.
  • No muestra que observadores confundan agentes con humanos; solo que reconocen el perfil escrito.
  • No prueba superioridad estadística generalizable más allá de una tarea por cada una de 15 apps.
  • No atribuye causalmente los bugs a dimensiones específicas ni descarta que otras instrucciones estructuradas produzcan diversidad similar.
  • No valida 132 crashes con evidencia de sistema o revisión humana equivalente a los bugs funcionales.
  • No demuestra que sea más barato que crowdtesting humano con mismo presupuesto, calidad, tiempo y coste total.
  • No permite reproducir los números del paper con el repositorio y suplementos actuales.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.24160v2; accepted FSE 2026 paper, DOI 10.1145/3808173

Fuente consultada: https://arxiv.org/abs/2603.24160v2

Revisión: Codex 23-page visual full-text, official arXiv/project, GitHub code/runtime, spreadsheet, construct, metric, statistical, human-fidelity, privacy and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-4o
  • o4-mini
  • DeepSeek-R1 (supplementary replacement, exact snapshot unspecified)
  • Sentence-BERT
  • BiLSTM

Instrumentos y métricas

  • Taxonomía de tres dimensiones y nueve perfiles
  • CV/OCR y GUI state textualization
  • Prompt ReAct de intención y operación
  • ADB Android GUI execution
  • SBERT 384d + BiLSTM 256d + similitud coseno
  • Intra-cluster cohesion e inter-cluster separation
  • General/input event generation effectiveness
  • Venn de crash bugs y consenso de functional bugs
  • Estudio de vídeo con Likert 1-10
  • Dos hojas Excel de tokens y costes

Datos utilizados

  • Public crowdsourced GUI testing corpus: approximately 23,000 reports, 50+ systems and 1,100+ workers
  • 1,500 manually annotated exploration traces, not released
  • 15 Android app tasks in app.csv
  • PersonaTester experiment runs and bug evidence, not released

Evidencia y localización

  • Diseño de perfiles, sistema, apps, runs y métricas: Accepted FSE 2026 PDF, pp. 1-15; all 23 pages visually inspected
  • Efectividad, 132/36 crashes, 11 bugs funcionales y límites declarados: Accepted FSE 2026 PDF, pp. 15-20, Figures 6-7 and Table 2
  • Publicación, versión, DOI, licencia y aceptación: Official arXiv v2 Atom/HTML and accepted PDF inspected 2026-07-17
  • Código, entrypoint, scenarios, crash oracle, fail-open, dependencias y seguridad ADB: Official GitHub commit 6bae4143f27f217a644c24fa1384571dcc0921cb inspected and byte-compiled 2026-07-17
  • Figuras random/DeepSeek y costes: Official project page and both embedded Excel workbooks inspected and visually verified 2026-07-17
  • Auditoría integral de fidelidad humana, circularidad, métricas, estadística, artifacts, privacidad y reproducibilidad: reports/verification/article-384-personatester-human-fidelity-circularity-bug-oracle-statistics-code-and-reproducibility-audit.json