LLM-Based User Personas for Recommendations at Scale

Este preprint industrial describe una canalización de recomendación de vídeo que representa al usuario mediante una persona textual de intereses. En este trabajo persona no significa personalidad psicológica, identidad demográfica ni gemelo de una persona: es una lista de temas inferidos del historial de visionado. El sistema produce dos componentes. Summarized Interests resume afinidades ya observadas y sirve a explotación; Exploration Interests pide al LLM tres temas nuevos pero relacionados para aumentar descubrimiento. Los títulos de vídeos filtrados se agrupan, se incluyen en un prompt y una política lingüística genera los temas; después una política de bajo nivel usa el texto para restringir nearest-neighbor retrieval, pasa los candidatos a un transformer secuencial y finalmente al ranker de producción. Para reducir coste, Gemini 1.5 Pro actúa como teacher en un flujo multillamada con razonamientos; se conservan respuestas que cumplen formato y número de intereses, y se destilan estudiantes Gemini Flash y Gemini Nano. En serving, la persona se guarda en una base, una visita usa la última versión aprobada y una persona ausente o stale se regenera en background para visitas posteriores. El modelo estudiante está cuantizado. Un clasificador de seguridad filtra texto potencialmente inseguro o sensible y, si falla, se recupera la persona anterior. La contribución defendible es esta arquitectura de integración: muestra cómo una representación semántica libre puede entrar en candidate generation industrial sin bloquear la petición en tiempo real. La evidencia tiene tres capas. En offline, cientos de usuarios y topics que habían clicado se usan como referencia proxy; clustered video titles con few-shot obtienen el BLEURT más alto. No es ground truth exhaustivo: un click depende de exposición e interfaz y no demuestra que el topic describa todos los intereses. Los datos de distillation proceden de decenas de miles de usuarios que, según el paper, consintieron el uso para training y tenían suficientes eventos recientes de alta satisfacción; se eliminan vídeos inseguros o sensibles. Tras filtrar formato, se divide 80/20, pero se habla de responses y no se aclara si el split es por usuario, dejando posible leakage entre historias de una misma persona. BLEURT evalúa similitud con Gemini 1.5 Pro, no verdad sobre el usuario. El creativity score usa un LLM autorater cuyo modelo, prompt, orden, repeticiones y escala no se publican. BLEURT y creatividad se calculan solo en outputs que pasan instruction following, por lo que cada checkpoint se compara sobre un conjunto superviviente potencialmente distinto. En el checkpoint 26.20, Nano alcanza IFR 99,08% y BLEURT .328; Flash 99,68%, .345 y creativity .023. Aunque Flash es más creativo, producción elige Nano por coste y latencia, sin publicar parámetros, latencia, throughput, TPU, quantization o coste por persona. En encuestas a miles de usuarios activos de Estados Unidos, solo quienes recuerdan tres vídeos mostrados pasan a valorar la etiqueta. Más del 80% dice que resume muy o extremadamente bien el historial mostrado y 71% muestra fuerte interés en más vídeos del tema; 57% prefiere estrictamente la etiqueta LLM frente a una etiqueta de knowledge graph y 20% las considera equivalentes. Son señales útiles, pero faltan n exacto, reclutamiento, response rate, exclusiones, intervalos y análisis; condicionar en recordar los vídeos selecciona los casos de historial reconocible y puede inflar accuracy. Los errores cualitativos reconocidos son omitir intereses principales, inferirlos de actividad esporádica, usar intereses obsoletos y repetir etiquetas. El experimento online asigna igual tráfico no solapado a control y tratamiento durante más de 30 días en una plataforma que sirve a miles de millones de usuarios. Esa cifra describe alcance de la plataforma, no n del A/B test, usuarios elegibles ni personas regeneradas. El tratamiento añade Gemini Nano, muestreo aleatorio de un interés resumido y uno exploratorio, retrieval restringido y una mezcla distinta de candidatos. Se informan lifts con p<.05 de +.04% en watch time, +.03% en usuarios activos, +.04% en engaged topics y +.03% en usuarios con múltiples lasting engaged topics. Son efectos pequeños pero plausibles a escala; sin embargo, no se publican n, unidad y mecanismo de randomización, geografía, baseline, varianza, intervalos, estadístico, stopping rule, guardrails o corrección para al menos cuatro outcomes. Las curvas no tienen tabla descargable ni definición de sus bandas y el aumento absoluto llamado massive no se cuantifica. La atribución causal corresponde al bundle completo, no específicamente a lenguaje natural, world knowledge o persona. Un límite especialmente importante aparece al cruzar método y producción: el offline concluye que semantic clustering produce personas de mayor calidad y lo usa para generar datos del teacher, pero el A/B test usa embedding/audio-visual clustering por escalabilidad. El PDF menciona ambos pipelines sin explicar por qué cambia; el TeX contiene un comentario excluido que reconoce que el enfoque semántico superior no se usó online. Por tanto, la ablation offline no valida exactamente la entrada desplegada. Los candidatos exploratorios reciben 40,91% menos impresiones; condicional en aparecer son vistos un 13,6% más. Esa comparación está seleccionada por el ranker y no es un experimento aleatorio exploration-versus-summary, así que no confirma causalmente que exploration sea más eficaz. Del mismo modo, que quienes vieron una recomendación vuelvan más condiciona en una conducta posterior al tratamiento y no prueba impacto longitudinal causal. La mayor mejora en casual users se acompaña de una explicación plausible, mejor inferencia desde datos escasos e intereses concentrados, pero no de interacción, n o intervalo de subgrupo. Watch time, actividad y visitas son engagement, no bienestar, autonomía o satisfacción. El survey aporta preferencia corta, no un resultado de welfare. En privacidad, hay señales positivas, consentimiento para el corpus teacher, filtrado de vídeos sensibles, safety classifier y fallback, pero no se explican consentimiento o opt-out del serving y A/B, retención, acceso, borrado, posibilidad de inspección/corrección ni purpose limitation. Un LLM abierto puede inferir un tema sensible nunca visto aunque se filtren inputs; no se publican falsos negativos o red teaming del clasificador. Tampoco hay fairness por idioma, país o grupo, pese a que el prompt afirma hablar todos los idiomas y la encuesta es solo estadounidense. No se ha localizado código, datos, checkpoints, configs, métricas ni protocolo público. El preprint conserva el venue dummy Woodstock ’18, sin demostrar aceptación o peer review. La conclusión fiel es que el paper presenta un caso industrial relevante y un pequeño uplift reportado para un sistema híbrido desplegado; no demuestra una personalidad del usuario, una explicación user-facing, causalidad de cada componente, bienestar, privacidad o reproducibilidad independiente.

This industrial preprint describes a video-recommendation pipeline that represents a user with a textual interest persona. Here persona does not mean psychological personality, demographic identity, or a digital twin: it is a list of topics inferred from watch history. The system generates two components. Summarized Interests capture observed affinities for exploitation; Exploration Interests ask the LLM for three novel but related topics to increase discovery. Filtered video titles are clustered and placed in a prompt, a language policy generates topics, and a lower-level policy uses the text to constrain nearest-neighbor retrieval before candidates pass through a sequential transformer and the production ranker. To reduce cost, Gemini 1.5 Pro acts as a teacher in a multi-call reasoning workflow; outputs matching format and requested interest count are retained, then Gemini Flash and Gemini Nano students are distilled. At serving time, a persona is cached in a database, a visit uses the latest approved version, and a missing or stale persona triggers background regeneration for later visits. The student is quantized. A safety classifier filters potentially unsafe or sensitive text and falls back to the previous persona when a new output is rejected. The defensible contribution is this integration architecture: it shows how a free-text semantic representation can enter industrial candidate generation without blocking the live request. Evidence has three layers. Offline, hundreds of users and topics they clicked are used as a proxy reference; clustered video titles with few-shot prompting achieve the highest BLEURT. This is not exhaustive ground truth: a click depends on exposure and interface and does not show that the topic captures all interests. Distillation data come from tens of thousands of users who, according to the paper, consented to training use and had enough recent high-satisfaction events; unsafe or sensitive videos are removed. Format-qualified responses are split 80/20, but the unit is described as responses rather than users, leaving possible leakage across histories from the same person. BLEURT measures similarity to Gemini 1.5 Pro, not truth about the user. Creativity uses an LLM autorater whose model, prompt, ordering, repetitions, and scale are not disclosed. BLEURT and creativity are computed only for instruction-compliant outputs, so checkpoints may be compared on different survivor sets. At checkpoint 26.20, Nano reaches 99.08% IFR and BLEURT .328; Flash reaches 99.68%, .345, and creativity .023. Although Flash is more creative, production chooses Nano for cost and latency without reporting parameter counts, latency, throughput, TPU use, quantization, or cost per persona. Surveys involve thousands of active United States users, but only participants who remember three displayed videos proceed to rate the label. More than 80% say it summarizes the shown history very or extremely closely and 71% express strong interest in more videos on the topic; 57% strictly prefer the LLM label to a knowledge-graph topic and 20% rate them equal. These are useful signals, but exact n, recruitment, response rate, exclusions, intervals, and analysis are absent; conditioning on video recall selects recognizable-history cases and can inflate accuracy. Acknowledged errors include missing main interests, inferring from sporadic activity, stale interests, and repetitive labels. The online experiment assigns equal non-overlapping traffic to control and treatment for more than thirty days on a platform serving billions of users. That number describes platform reach, not A/B test n, eligible users, or regenerated personas. Treatment adds Gemini Nano, random sampling of one summarized and one exploratory interest, constrained retrieval, and a changed candidate mix. Reported p<.05 lifts are .04% in watch time, .03% in active users, .04% in engaged topics, and .03% in users with multiple lasting engaged topics. These are small but plausible at scale; however, n, randomization unit and mechanism, geography, baseline, variance, confidence intervals, statistic, stopping rule, guardrails, and adjustment for at least four outcomes are not reported. Curves lack downloadable tables or band definitions, and the absolute increase called massive is not quantified. Causal attribution belongs to the complete bundle, not specifically to natural language, world knowledge, or persona representation. A key boundary emerges when method and production are compared: offline results say semantic clustering yields higher-quality personas and it is used for teacher-data generation, but the A/B test uses embedding/audio-visual clustering for scalability. The PDF states both pipelines without explaining the switch; excluded TeX commentary acknowledges that the superior semantic approach was not used online. The offline ablation therefore does not validate the deployed input pipeline exactly. Exploration candidates receive 40.91% fewer impressions; conditional on exposure they are watched 13.6% more. This contrast is selected by the ranker rather than randomized exploration-versus-summary evidence, so it does not causally confirm greater exploration efficiency. Likewise, higher return among users who watched a persona-sourced recommendation conditions on post-treatment behavior and does not prove long-term causal impact. Stronger gains among casual users receive a plausible explanation, better inference from sparse data and concentrated interests, but no interaction estimate, subgroup n, or interval. Watch time, activity, and repeat visits are engagement, not wellbeing, autonomy, or satisfaction. The survey adds short-term preference, not a welfare endpoint. Privacy protections include teacher-corpus consent, sensitive-video filtering, a safety classifier, and fallback, but live-serving and A/B consent or opt-out, retention, access, deletion, inspection/correction, and purpose limitation are not described. An open-ended LLM can infer a sensitive unwatched topic even after input filtering; no false-negative rate or red-team evaluation is reported. No fairness analysis covers language, country, or user group, despite an all-language prompt and a United States-only survey. No public code, data, checkpoints, configurations, metric implementation, or experiment protocol was found. The preprint retains the dummy Woodstock ’18 venue and does not establish acceptance or peer review. The faithful conclusion is that this is a relevant industrial case study with a reported small uplift for a deployed hybrid system; it does not establish user personality, user-facing explanation, component-level causality, welfare, privacy, or independent reproducibility.