OmniBehavior propone un benchmark de simulación de conducta construido con trazas reales de Kuaishou. El artículo describe 200 usuarios, cinco escenarios, 22 tipos de acción y 2,12 millones de interacciones entre septiembre y noviembre de 2025. Cada perfil combina datos demográficos y familiares con historiales que pueden incluir marcas temporales exactas, textos de vídeo, OCR, ASR, búsquedas, productos, anuncios y conversaciones de atención al cliente. Los usuarios se eligen mediante K-means y se toma el más cercano a cada uno de 200 centroides: esta decisión amplía la diversidad cubierta, pero no produce una muestra representativa de la población ni permite estimar prevalencias. La tarea principal entrega perfil, historia y contexto actual para predecir acciones binarias, duración de vídeo o la siguiente respuesta de atención al cliente. El historial principal cubre septiembre; la prueba, octubre y noviembre; se anuncian 30 acciones de prueba por usuario y 6.000 casos. Se evalúan once modelos. Claude Opus 4.5 obtiene 44,55 en el ranking publicado, seguido por GLM-4.7 con 41,46 y Claude Sonnet 4.5 con 40,49; Qwen3-235B queda en 32,11. Sin embargo, la puntuación global es una media no ponderada de seis componentes heterogéneos: F1 de escenas binarias, 100 menos NMAE para duración y una puntuación textual de Claude-Sonnet-4.5 multiplicada por diez. No se aportan intervalos ni pruebas para las diferencias de ranking, y Claude-Sonnet-4.5 actúa a la vez como competidor, juez textual y anotador de sentimiento/estilo sin validación humana. En memoria, Qwen3-235B obtiene 24,27 con resumen, 21,13 con truncado y 20,38 con RAG; son promedios de escenas distintas y no bastan para generalizar sobre todas las memorias. En 66 historiales de más de 128k tokens, ampliar el contexto no mejora de forma consistente. El artículo interpreta como cadenas causales 180 trayectorias previas a conversiones inferidas por Claude y revisadas manualmente; al ser logs observacionales sin contrafactual ni intervención, son atribuciones retrospectivas, no efectos causales. También compara el drift Jaccard diario de OmniBehavior, 0,6311, con LoCoMo, 0,1698, pero plataforma, tareas y generación difieren y no aíslan una propiedad general de datos reales frente a sintéticos. Sus etiquetas de hyperactivity, utopian bias y personality homogenization dependen de un muestreo equilibrado, anotación de Claude y vectores de tasas de acción; la última mide similitud conductual, no personalidad validada. Hay además inconsistencias de artefacto. Los 2,12 millones sobre 200 usuarios implican 10.600 acciones por usuario, mientras que la media declarada de 8.143 implica 1.628.600, una diferencia no explicada de 491.400. En una auditoría determinista de 20 pares del snapshot público, los JSON ingleses suman 1.324 acciones y los chinos 2.688; solo cinco pares coinciden y la diferencia se concentra en vídeo, 355 frente a 1.719. Esto demuestra deriva en la muestra revisada, no una tasa global. El código exige al menos 60 acciones para construir 30 casos y la versión publicada contiene usuarios auditados por debajo de ese umbral, por lo que no garantiza 200 usuarios ni 6.000 tareas; tampoco incluye configuración reproducible para los once modelos, salidas, juicios o resultados. El dataset es público y no restringido por acceso. Aunque se reemplazan identificadores directos, las marcas temporales, demografía y contenidos raros siguen siendo cuasi-identificadores longitudinales; no se documentan consentimiento, evaluación de privacidad, retirada, contacto de takedown ni rendimiento del proceso de anonimización. El trabajo aporta un recurso industrial rico y código inspeccionable, pero sus resultados deben leerse como un benchmark curado y una prepublicación arXiv v2, no como una simulación representativa, una prueba causal o una validación de personalidad humana.
Pregunta de investigación
¿Hasta qué punto los LLM actuales pueden simular acciones humanas heterogéneas a partir de historiales largos y multiescenario, y qué diferencias estructurales aparecen entre sus predicciones y las trazas reales?