Personality as Relational Infrastructure: User Perceptions of Personality-Trait-Infused LLM Messaging

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Dominik P. Hofer, David Haag, Rania Islambouli, Jan D. Smeddinck

Palabras clave: Large Language Models, Personality, Big Five, Persona, Personality Control

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
20
Hallazgos
88
Limitaciones
14
Evidencias

Resumen editorial

Español

Este trabajo pregunta si añadir los rasgos Big Five de una persona a mensajes de actividad física generados por un LLM mejora cada mensaje o si se asocia con una valoración global más favorable cuando una persona ve una proporción mayor de mensajes personalizados. Esta revisión usa el manuscrito completo arXiv:2602.06596v2, revisado el 27 de febrero de 2026, de 53 páginas. El documento sigue “currently under review”, conserva los CCS y la referencia de plantilla ACM sin completar y sustituye los enlaces de datos, código e IRB por [BLIND_FOR_REVIEW]. No se encontró publicación definitiva ni repositorio oficial público, por lo que los datos, el código, los modelos fine-tuned y el análisis no pueden reproducirse.

El estudio tiene dos fases. Primero, 210 participantes sedentarios reclutados en Prolific evaluaron cinco de quince situaciones hipotéticas y aportaron feedback; ese material alimentó ejemplos few-shot, recuperación RAG y fine-tuning. Después, una muestra final declarada de 90 personas recordó cinco momentos de la semana anterior, describió veinte variables contextuales y valoró mensajes que hipotéticamente habría recibido. Para cada contexto se ejecutaron ocho configuraciones de ChatGPT-4o: baseline, few-shot con self-consistency, RAG y fine-tuning, cada una con y sin las puntuaciones BFI-10. Las ocho salidas se mostraron mediante pestañas en orden aleatorio. El LLM decidía primero si enviar; de 3.600 decisiones, produjo 2.345 mensajes y retuvo 1.255. Esto no fue una intervención JITAI en la vida diaria: no hubo entrega en tiempo real, seguimiento de conducta, relación longitudinal ni outcome de actividad física.

La manipulación tampoco equivale a “alineación de personalidad” validada. La condición BFPT simplemente entrega al mismo modelo cinco puntuaciones de 1 a 5 y le pide adaptar tono y fraseo; no se comprueba mediante jueces humanos o análisis lingüístico que los mensajes expresen los rasgos correctamente, que resulten congruentes para la persona o que difieran de forma controlada en longitud, especificidad y estilo. El BFI-10 usa solo dos ítems por rasgo y no se informa fiabilidad en estas muestras. Los prompts avanzados son mucho más largos y prescriptivos que el baseline; RAG y few-shot incorporan ejemplos y el fine-tuning no documenta dataset final, split, hiperparámetros o evaluación. Por tanto, la comparación mezcla personalización, prompt, recuperación, entrenamiento y política de envío.

El contraste dentro de persona es el resultado más defendible. En los mensajes que sí se mostraron, ningún outcome tuvo una asociación trial-level creíble entre disponer de BFPT y la valoración inmediata según los intervalos del texto. Es decir, en esta evaluación de viñetas, dar al generador las puntuaciones Big Five no produjo una mejora detectable del mensaje personalizado frente al no personalizado para la misma persona. Tampoco hubo una ventaja consistente de RAG, fine-tuning o few-shot sobre el baseline. Esto no demuestra equivalencia: faltan márgenes de equivalencia, potencia, modelos fijados y una manipulación limpia, y el apéndice muestra que los pipelines tenían políticas de envío radicalmente distintas.

La principal afirmación positiva procede de una variable construida después de generar los datos: para cada participante, la proporción de mensajes entregados que pertenecía a configuraciones BFPT. Esa proporción varió solo de 40 % a 57 % (SD=0,03) porque cada LLM decidió de forma autónoma enviar o retener. No fue aleatorizada. De hecho, el modelo de envío del apéndice estima que few-shot, fine-tuned y RAG enviaban muchísimo menos que el baseline (OR 0,024, 0,008 y 0,046) y que las configuraciones sin BFPT enviaban más (OR 1,42). La “dosis” es así consecuencia de selección post-generación y composición de pipelines, no una exposición experimental administrada. Correlaciones pequeñas y VIF no eliminan confusión no medida, sesgo de selección ni collider bias.

Los modelos ordinales separan el indicador del mensaje de la media de cada persona y añaden intercepto y pendiente aleatorios por participante. Reportan asociaciones person-level favorables para personalización percibida, ajuste, engagement, efectividad y profesionalidad, y asociaciones negativas con cinco emociones adversas. Sin embargo, el predictor person-level contiene solo 90 unidades independientes y se repite en unas 2.345 filas; el diseño contiene además cinco escenarios y hasta ocho mensajes correlacionados por escenario, pero la fórmula solo modela participante. No se declaran priors, draws, posterior predictive checks, preregistro, análisis de potencia o sensibilidad a la selección. La convergencia MCMC no resuelve una especificación causal incompleta.

El manuscrito contiene contradicciones que impiden aceptar literalmente “14 de 17 outcomes”. La Tabla 6 da para happiness β=2,99 y HDI 97 % [0,34, 5,79], que excluiría cero y elevaría el total a 15; el texto imprime [-0,34, 5,79] y lo declara no creíble. La figura llama a los mismos intervalos “95% CI”. Se usan diecisiete outcomes con umbral HDI 97 % sin una justificación de multiplicidad. Además, los cuatro ítems de Perceived Message Relevance se analizan por separado en vez de como una escala validada y no se reporta consistencia interna. Las asociaciones de confusores del apéndice calculan p-values sobre filas repetidas como si fueran independientes, haciendo que correlaciones de 0,09–0,13 aparezcan como p=0,000.

También falla la contabilidad básica. Métodos afirma 77.280 ratings, mientras Resultados afirma 75.600. Con 2.345 mensajes entregados y 21 ítems, el máximo posible es 49.245 ratings; 75.600 corresponde a contar también las 1.255 decisiones sin mensaje y 77.280 equivaldría a 3.680 mensajes, más de las 3.600 decisiones posibles. La Tabla 5 confirma aproximadamente 2.340 observaciones por outcome. El apéndice de Big Five describe 92 participantes en la comparison study, cada distribución suma 92, no los 90 de texto y demografía, sin explicar dos exclusiones. También se escribe que los ICC van de “0,54% a 0,82%”, aunque los valores reales son 0,54–0,82, es decir 54–82 %.

Los ICC altos muestran sobre todo que las personas usan las escalas de forma estable durante una sesión larga; no confirman que la exposición BFPT haya creado esa estabilidad. Cada participante valoró en una misma interfaz múltiples variaciones del mismo contexto, potencialmente cientos de ítems, lo que puede producir consistencia de respuesta, fatiga, comparación directa y efectos de orden. El raw mean de emociones negativas contradice a veces la pendiente ajustada: el propio artículo reconoce que Q4 puede ser más negativo que Q1 y que más del 70 % marca el suelo. Atribuir la inversión solo al floor effect no prueba una reducción entre la minoría; muestra que esa conclusión depende del ajuste del modelo y no de la diferencia observada.

El artículo es más prudente en Limitations que en su framing. Reconoce que “person-level” significa diferencias entre personas en una única sesión, no cambio dentro de una persona a lo largo del tiempo, y que CAT se añadió post hoc. Por ello, los datos no observan acomodación acumulativa, rapport, confianza, relación terapéutica ni “relational infrastructure”. Tampoco observan que alguien reciba una serie coherente de mensajes de un mismo sistema: se comparan hasta ocho configuraciones independientes sin memoria histórica. CAT y la alianza terapéutica son hipótesis interpretativas para estudios futuros, no mecanismos demostrados.

La lectura fiel es, por tanto, más estrecha que el título. El estudio aporta un protocolo de viñetas y evidencia nula a nivel de mensaje para esta implementación de BFPT. Detecta además una asociación ecológica entre una proporción post hoc, no aleatorizada y de rango estrecho, y tendencias globales de rating entre 90 participantes. Esa asociación puede motivar un micro-randomized trial longitudinal, como proponen los propios autores, pero no demuestra dosis, acumulación, cambio relacional, eficacia JITAI, aumento de actividad física ni beneficio clínico. Antes de usarlo como recomendación de diseño hacen falta datos y código públicos, corrección de las inconsistencias, randomización explícita de densidad BFPT, exposición real repetida, manipulación comprobada, análisis jerárquico completo y outcomes conductuales.

English

This paper asks whether adding a person's Big Five traits to LLM-generated physical-activity messages improves each message or is associated with more favorable global ratings when a person sees a higher proportion of personalized messages. This review uses the complete 53-page arXiv:2602.06596v2 manuscript, revised 27 February 2026. The paper is still “currently under review,” retains unfilled ACM CCS and citation-template placeholders, and replaces data, code, and IRB links with [BLIND_FOR_REVIEW]. No definitive publication or official public repository was found, so the data, code, fine-tuned models, and analysis cannot be reproduced.

The study has two phases. First, 210 sedentary Prolific participants rated five of fifteen hypothetical situations and provided feedback; this material fed few-shot examples, RAG retrieval, and fine-tuning. A declared final sample of 90 people then recalled five moments from the previous week, described twenty contextual variables, and rated messages they hypothetically would have received. Eight ChatGPT-4o configurations ran for each context: baseline, few-shot with self-consistency, RAG, and fine-tuning, each with and without BFI-10 scores. The eight outputs were shown in randomized tab order. The LLM first decided whether to send: of 3,600 decisions, it produced 2,345 messages and withheld 1,255. This was not a JITAI intervention in daily life: there was no real-time delivery, behavioral follow-up, longitudinal relationship, or physical-activity outcome.

The manipulation is also not validated “personality alignment.” The BFPT condition simply supplies the same model with five 1–5 scores and asks it to adapt tone and phrasing. No human judge or linguistic analysis verifies that messages express the traits correctly, feel congruent to the participant, or differ in a controlled way in length, specificity, and style. BFI-10 has only two items per trait and reliability is not reported in either sample. Advanced prompts are much longer and more prescriptive than baseline; RAG and few-shot add examples, while fine-tuning omits the final dataset, split, hyperparameters, and evaluation. The comparison therefore bundles personalization, prompt design, retrieval, training, and send policy.

The within-person contrast is the most defensible result. Among messages that were shown, no outcome had a credible trial-level association between BFPT availability and immediate rating under the intervals reported in the narrative. In this vignette evaluation, giving the generator Big Five scores did not produce a detectable advantage for the personalized message over the non-personalized message for the same person. Nor did RAG, fine-tuning, or few-shot show a consistent advantage over baseline. This is not proof of equivalence: no equivalence margin, power analysis, pinned models, or clean manipulation is provided, and the appendix shows radically different send policies across pipelines.

The main positive claim comes from a variable constructed after generation: each participant's proportion of delivered messages originating from BFPT configurations. It ranged only from 40% to 57% (SD=.03) because each LLM autonomously sent or withheld messages. It was not randomized. The appendix send model estimates that few-shot, fine-tuned, and RAG sent dramatically less often than baseline (OR .024, .008, and .046) and that non-BFPT configurations sent more often (OR 1.42). “Dose” is therefore an outcome of post-generation selection and pipeline composition, not administered experimental exposure. Small correlations and VIF checks do not remove unmeasured confounding, selection bias, or collider bias.

Ordinal models separate the message indicator from each person's mean and add participant random intercepts and slopes. They report favorable person-level associations for perceived personalization, fit, engagement, effectiveness, and professionalism, and negative associations with five adverse emotions. Yet the person-level predictor contains only 90 independent units and is repeated across roughly 2,345 rows. The design also nests five scenarios and up to eight correlated messages per scenario, but the formula models only participant. Priors, draws, posterior predictive checks, preregistration, power, and selection-sensitivity analyses are not reported. MCMC convergence does not cure an incomplete causal specification.

Internal contradictions prevent taking “14 of 17 outcomes” literally. Table 6 reports happiness β=2.99 with a 97% HDI [.34, 5.79], which excludes zero and would raise the count to 15; the narrative prints [-.34, 5.79] and labels it non-credible. The forest-plot caption calls the intervals “95% CI.” Seventeen outcomes are assessed with a 97% HDI rule without a multiplicity rationale. The four Perceived Message Relevance items are modeled separately instead of being used as a validated scale, and internal consistency is not reported. Confounder p-values in the appendix treat repeated rows as independent, making correlations around .09–.13 appear as p=.000.

Basic accounting also fails. Methods claims 77,280 ratings while Results claims 75,600. With 2,345 delivered messages and 21 items, at most 49,245 ratings are possible; 75,600 counts the 1,255 no-message decisions as if they had ratings, and 77,280 implies 3,680 messages, more than the 3,600 possible decisions. Table 5 confirms about 2,340 observations per outcome. The appendix Big Five table describes 92 comparison-study participants, every trait distribution sums to 92, not the 90 reported in the text and demographics, without explaining two exclusions. It also says ICCs range from “0.54% to 0.82%,” although the values are .54–.82, or 54–82%.

High ICCs mainly show that people used rating scales consistently during a long single session; they do not confirm that BFPT exposure created that stability. Each participant rated multiple variants of the same context in one interface, potentially hundreds of items, allowing response consistency, fatigue, direct comparison, and order effects. Raw negative-emotion means sometimes reverse the adjusted slope: the paper acknowledges that Q4 can be more negative than Q1 and that over 70% of ratings are at the floor. Attributing the reversal only to floor effects does not establish a reduction among a minority; it shows the conclusion is model-dependent rather than an observed group difference.

The Limitations section is more cautious than the framing. It acknowledges that “person-level” means between-person differences within one evaluation session, not within-person change over time, and that Communication Accommodation Theory was added post hoc. The data therefore do not observe cumulative accommodation, rapport, trust, therapeutic alliance, or “relational infrastructure.” They do not even observe a person receiving a coherent series from one system: up to eight independent configurations without historical memory are compared. CAT and therapeutic-alliance analogies are hypotheses for future studies, not demonstrated mechanisms.

The faithful interpretation is consequently narrower than the title. The work contributes a vignette protocol and a null message-level result for this BFPT implementation. It also detects an ecological association between a narrow, non-random post-hoc proportion and global rating tendencies across 90 participants. That association can motivate the longitudinal micro-randomized trial the authors themselves propose, but it does not demonstrate dose, accumulation, relational change, JITAI effectiveness, increased physical activity, or clinical benefit. Design recommendations require public data and code, corrected inconsistencies, explicit randomization of BFPT density, genuine repeated exposure, a verified manipulation, complete hierarchical modeling, and behavioral outcomes.

Pregunta de investigación

¿Añadir puntuaciones Big Five a mensajes LLM de actividad física cambia la valoración inmediata de cada mensaje y/o se asocia con valoraciones globales diferentes entre personas que, por decisiones de envío del LLM, terminan viendo distintas proporciones de mensajes BFPT?

Método

Dos estudios Prolific. Una fase de 210 participantes genera feedback para few-shot, RAG y fine-tuning. En una evaluación retrospectiva de una sola sesión, 90 participantes reconstruyen cinco contextos personales y valoran hasta ocho mensajes ChatGPT-4o por contexto: baseline, few-shot/self-consistency, RAG y fine-tuned, con/sin BFI-10. Los LLM deciden de forma no aleatoria si enviar. Se analizan 2.345 mensajes mediante regresiones ordinales bayesianas con descomposición within-between y efectos aleatorios por participante.

Muestra: Entrenamiento: 210 adultos Prolific autodeclarados sedentarios, media de edad 34,13, 122 mujeres y 88 hombres. Comparación: texto principal N=90, edad media 37,20, rango 22–72, 45 mujeres/45 hombres y 80 participantes White; solo personas con intención de actividad física durante cinco semanas. La tabla Big Five del apéndice suma N=92 y no se explican exclusiones. Se mencionan participantes former/new sin informar tamaños, posible solapamiento ni si sus datos previos podían recuperarse.

Hallazgos

  • Las ocho configuraciones toman 3.600 decisiones y entregan 2.345 mensajes; 1.255 se retienen.
  • Ninguno de los 17 outcomes presenta una asociación trial-level creíble según la interpretación narrativa del paper.
  • La incorporación de puntuaciones BFPT no mejora de forma detectable la valoración inmediata del mensaje para la misma persona.
  • No aparece una ventaja coherente de few-shot, RAG o fine-tuning frente al baseline.
  • La proporción BFPT person-level varía solo entre 40% y 57%, SD=0,03, y no se manipula experimentalmente.
  • El modelo de envío reporta OR 0,024 para few-shot, 0,008 para fine-tuned y 0,046 para RAG frente al baseline.
  • Las configuraciones sin BFPT tienen odds de envío 1,42 veces mayores, por lo que BFPT afecta la selección de qué outputs llegan a ratings.
  • Los modelos reportan asociaciones person-level favorables en personalización percibida, ajuste y cinco dimensiones de calidad.
  • Reportan asociaciones person-level negativas para angry, annoyed, frustrated, sad y scared.
  • Empathy y surprise no son creíbles a nivel person-level.
  • Happiness es internamente contradictorio: Tabla 6 HDI [0,34, 5,79], narrativa [-0,34, 5,79].
  • Los ICC son 0,23 para empathy y aproximadamente 0,53–0,81 para los otros outcomes.
  • Los ICC indican fuerte tendencia estable de respuesta entre personas durante la sesión, no acumulación longitudinal.
  • Las medias crudas Q4 de afecto negativo a veces contradicen las disminuciones predichas por el modelo.
  • Más del 70% de ratings de emoción negativa están en el valor mínimo.
  • La Tabla 5 confirma unas 2.340 observaciones por outcome, coherentes con 2.345 mensajes y no con 75.600/77.280 ratings.
  • La tabla de perfiles BFPT de comparación suma 92 personas y contradice N=90.
  • El manuscrito reconoce que person-level es variación entre personas en una sola sesión y no cambio temporal.
  • CAT se aplicó post hoc y no guio hipótesis, manipulación ni medidas.
  • La aportación válida es una asociación exploratoria y un resultado trial-level nulo que justifican un ensayo longitudinal aleatorizado.

Limitaciones

  • El artículo es una prepublicación bajo revisión, no una publicación definitiva revisada por pares.
  • Conserva marcadores ACM sin completar y una referencia Woodstock de plantilla.
  • Los enlaces a datos, código e IRB están cegados y no son verificables.
  • No hay repositorio público oficial localizado.
  • No se pueden reproducir mensajes, modelos, exclusiones, análisis o figuras.
  • La comparison study es retrospectiva y de una sola sesión.
  • Los participantes imaginan mensajes que habrían recibido; no los reciben en contexto real.
  • No hay decisión adaptativa desplegada, notificación real ni medición de receptividad conductual.
  • No se mide actividad física, cambio de conducta, adherencia o salud.
  • No existe exposición longitudinal a un sistema coherente.
  • Cada decisión LLM usa solo el turno actual y carece de historial.
  • Se muestran hasta ocho configuraciones del mismo contexto en pestañas, no una conversación natural.
  • Comparar variantes del mismo contexto puede crear contraste y demanda.
  • El orden de pestañas se aleatoriza, pero no se modelan orden, carryover o fatiga.
  • La carga potencial es de cientos de ratings por participante y no se informa duración ni straightlining.
  • La personalización BFPT no se asigna como una dosis experimental.
  • La proporción person-level se construye después de las decisiones de envío.
  • Los propios pipelines y la presencia de BFPT cambian fuertemente la probabilidad de envío.
  • Condicionar análisis a mensajes enviados introduce selección post-tratamiento.
  • La proporción BFPT mezcla tratamiento, política de envío y composición de pipelines.
  • VIF mide colinealidad, no ausencia de confusión.
  • Correlaciones pequeñas con covariables observadas no descartan confusión no medida.
  • El texto usa lenguaje de aislar efectos causales sin identificación causal.
  • La fórmula principal no deja claro si controla model_type pese a sus enormes diferencias de envío.
  • La unidad efectiva del predictor person-level es N=90, no N≈2.345.
  • El modelo repite la misma proporción person-level en todas las filas de un participante.
  • Solo se incluyen efectos aleatorios de participante, no de escenario/contexto.
  • Hasta ocho mensajes comparten contexto y participante, generando dependencia residual.
  • No se modelan explícitamente efectos de mensaje, orden o configuración anidados en escenario.
  • No se publican priors, número de cadenas, draws, warmup, seed o diagnósticos completos.
  • No se muestran posterior predictive checks.
  • No hay preregistro ni distinción verificable entre análisis confirmatorio y exploratorio.
  • No hay análisis de potencia o precisión para efectos trial-level y N=90 person-level.
  • No hay sensibilidad a especificaciones alternativas, selección o valores extremos de proporción.
  • La exposición person-level tiene rango 40–57% y SD=0,03, muy estrecho.
  • La no estandarización por problemas de convergencia dificulta comparar magnitudes.
  • Convergencia MCMC no demuestra adecuación del modelo o identificación causal.
  • Se evalúan 17 outcomes correlacionados sin modelo multivariante.
  • El umbral HDI 97% es inusual y no se justifica como control de multiplicidad.
  • La cifra 14/17 contradice la Tabla 6 para happiness.
  • La narrativa imprime HDI negativo para happiness, pero la tabla y figura muestran límite positivo.
  • La figura etiqueta 95% CI mientras métodos y tablas usan 97% HDI.
  • Los cuatro ítems de Perceived Message Relevance se tratan como outcomes separados.
  • No se reporta el score compuesto ni fiabilidad de Perceived Message Relevance.
  • No se reporta fiabilidad del PETS en esta muestra.
  • El beta transform para empathy no se especifica y los datos incluyen extremos 0 y 100.
  • Los p-values de correlación del apéndice usan observaciones repetidas y aparentan pseudorreplicación.
  • Las medias crudas de afecto negativo pueden tener dirección opuesta al modelo ajustado.
  • El floor effect no explica por sí solo una inversión de signo crudo-ajustado.
  • Afirmar reducción en una minoría no se deriva directamente del modelo ordinal publicado.
  • Métodos declara 77.280 ratings, aritméticamente incompatibles con el diseño.
  • Resultados declara 75.600 ratings contando implícitamente decisiones sin mensaje.
  • 2.345×21 permite como máximo 49.245 ratings.
  • 77.280/21 implica 3.680 mensajes, ochenta más que las decisiones posibles.
  • La tabla descriptiva confirma aproximadamente 2.340 casos por outcome.
  • La tabla Big Five del comparison study suma 92, no 90.
  • No se explican dos exclusiones entre la tabla y la muestra final.
  • Se menciona participant type former/new sin reportar tamaños de cohortes.
  • No se aclara si participantes returning aportaron datos usados para entrenar o recuperar ejemplos.
  • Un returning participant podría estar representado en training data sin análisis de leakage.
  • La muestra se restringe a intención declarada de actividad durante cinco semanas.
  • La muestra es 89% White y exclusivamente Prolific, limitando generalización.
  • No se informa tasa de screening, abandonos, atención o motivos de exclusión.
  • BFI-10 tiene dos ítems por rasgo y no se informa fiabilidad o error de medición.
  • Los prompts tratan scores 1–5 como instrucciones de estilo sin mapping validado.
  • No existe manipulation check de que outputs BFPT estén realmente alineados.
  • No se mide si participantes detectan o prefieren la congruencia con su propio perfil.
  • No se controlan longitud, legibilidad, especificidad o contenido entre condiciones.
  • El baseline es mucho más corto y menos prescriptivo que los prompts avanzados.
  • Few-shot pide cadenas internas y ejemplos, por lo que no aísla una única técnica.
  • RAG carece de versión exacta de encoder, índice, métrica y evaluación de retrieval.
  • Fine-tuning carece de IDs de modelo, epochs, split, tamaño final y métricas.
  • chatgpt-4o-latest no es un snapshot inmutable y puede cambiar.
  • No se informan temperature, top_p, max tokens, retries o fallos de parseo.
  • Los outputs generados no están disponibles para auditoría de seguridad y calidad.
  • No se evalúan alucinaciones, consejo inadecuado, sesgo o daño en mensajes de salud.
  • No se detalla la privacidad de enviar contexto y rasgos psicológicos a OpenAI.
  • Los detalles IRB están cegados y no se puede verificar consentimiento o gobernanza de datos.
  • Los ICC altos pueden reflejar estilo de respuesta estable, no percepción de un sistema.
  • ICC no confirma asociación causal con BFPT ni mecanismo acumulativo.
  • La analogía con relación terapéutica no se apoya en medidas de alianza o outcomes clínicos.
  • CAT fue seleccionado después de ver el patrón y no fue probado contra teorías alternativas.
  • No se mide convergencia lingüística bidireccional.
  • No se mide rapport, confianza, vínculo, aprendizaje del sistema o control del usuario.
  • El término relational infrastructure excede el diseño observado.
  • La equivalencia entre estrategias no se prueba con márgenes de no inferioridad/equivalencia.
  • Los nulls trial-level podrían reflejar ruido, baja potencia o manipulación débil.
  • La generalización a JITAIs reales, otros dominios, idiomas, culturas y modelos no está demostrada.

Qué no demuestra

  • No establece que personalizar con Big Five mejore un mensaje individual.
  • No demuestra que una mayor dosis BFPT cause mejores percepciones.
  • No demuestra acumulación de efectos dentro de una persona a lo largo del tiempo.
  • No demuestra rapport, confianza, alianza terapéutica o relación humano-IA.
  • No valida el concepto de relational infrastructure como mecanismo empírico.
  • No demuestra que los mensajes sean realmente congruentes con la personalidad del receptor.
  • No demuestra que BFI-10 sea suficiente para personalización segura o precisa.
  • No demuestra equivalencia de baseline, few-shot, RAG y fine-tuning.
  • No demuestra eficacia de una JITAI desplegada en el mundo real.
  • No demuestra aumento de actividad física, adherencia o beneficio de salud.
  • No demuestra reducción poblacional de afecto negativo; los raw means a veces se invierten.
  • No elimina confusión, selección post-tratamiento o sesgo por composición de pipelines.
  • No permite reproducir datos, modelos o análisis desde artefactos públicos.
  • No justifica personalización psicológica invisible sin consentimiento y controles de usuario.
  • No permite recomendaciones de despliegue antes de un ensayo longitudinal aleatorizado.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2602.06596v2, revised 27 February 2026; under review; 53 pages

Fuente consultada: https://arxiv.org/pdf/2602.06596v2

Revisión: Codex full-text, bilingual-fidelity, 53-page visual, arXiv-version, study-design, manipulation-validity, JITAI-construct, selection-bias, hierarchical-model, multiplicity, scale-validity, arithmetic-reconciliation, appendix-consistency, LLM-prompt, reproducibility, privacy and causal-claim audit; summaries written from the complete paper rather than abstract keyword extraction, 2026-07-15

Aprobación: Codex fidelity pass, 2026-07-15

Modelos evaluados

  • OpenAI chatgpt-4o-latest, described as July 2025, exact immutable snapshot not reported, used for all four generation pipelines
  • Baseline ChatGPT-4o prompt with optional Big Five scores
  • Few-shot chain-of-thought/self-consistency ChatGPT-4o with three randomly selected training examples and internally requested N≈5 chains
  • RAG ChatGPT-4o with three Universal Sentence Encoder v3 nearest examples; exact index, distance, package version, and retrieval code unavailable
  • Two OpenAI supervised fine-tuned models, with and without BFPT, whose model IDs, training settings, splits, and artifacts are unavailable
  • Bayesian multilevel ordinal models implemented in Bambi; exact code, priors, sampler configuration, and posterior checks unavailable

Instrumentos y métricas

  • Big Five Inventory-10 (BFI-10), two items per trait, scored in 0.5 increments from 1 to 5
  • Twenty-feature retrospective context questionnaire for five recalled moments
  • LLM send/no-send recommendation score on a 1–5 scale with send threshold ≥3
  • Four Perceived Message Relevance items analyzed separately (p1–p4)
  • Six-item Perceived Empathy of Technology Scale emotional-responsiveness subscale aggregated to 0–100
  • Five adapted JITAI quality ratings: send appropriateness, content appropriateness, engagement, effectiveness, professionalism
  • Seven affect ratings: anger, annoyance, frustration, happiness, sadness, fear/scared, surprise
  • Post-hoc participant BFPT exposure proportion among delivered messages
  • Bayesian within-between decomposition with participant intercept and BFPT trial-level slope
  • Post-hoc Communication Accommodation Theory interpretation

Datos utilizados

  • Private training-data study: 210 Prolific participants, five randomly selected scenarios each from a pool of 15, ratings, free-text feedback, and BFI-10
  • Private comparison study: declared final N=90, five recalled contexts per participant, eight LLM configurations per context, 3,600 send decisions
  • 2,345 delivered messages and 1,255 withheld decisions
  • At most 49,245 raw item ratings from 2,345 messages × 21 items; manuscript instead claims 75,600 and 77,280
  • Appendix outcome table with approximately 2,340 non-missing observations per aggregated outcome
  • Appendix BFI distribution totaling 92 comparison participants, inconsistent with declared N=90
  • No public data, code, model artifacts, preregistration, or executable environment found as of 15 July 2026

Evidencia y localización

  • Estado, versión y metadatos: arXiv:2602.06596v2 abstract page and submission history; currently under review; revised 27 February 2026
  • Fases, participantes y procedimiento: Full text Sections 3.1–3.3, pp. 5–7
  • Ocho configuraciones y prompts: Full text Section 3.4 and Appendix A.3, pp. 7 and 21–29
  • Medidas y modelo within-between: Full text Sections 3.5–3.6, pp. 7–9
  • 2,345 envíos y contabilidad contradictoria: Full text pp. 6 and 9; Appendix Table 5 p. 32; independent arithmetic 2,345×21=49,245
  • Resultados trial-level y person-level: Full text Sections 4.3–4.6, pp. 10–12; Appendix Tables 6–7, pp. 35–36
  • Contradicción de happiness y 14/17: Narrative Section 4.4 versus Appendix Table 6 and Figure 8, p. 35
  • ICCs y floor effects: Full text Sections 4.5–4.6; Appendix Table 8, pp. 36–38
  • Selección por política de envío: Appendix A.9 Send Decision Modeling, p. 34
  • Pseudorreplicación en correlaciones: Appendix A.6 pp. 31–32; p-values reported across repeated message rows for person-level means
  • N=92 frente a N=90: Appendix Table 3 pp. 19–20; independent sum of every BFPT distribution equals 92
  • Alcance temporal y CAT post hoc: Full text Sections 5.1, 5.5, 5.7–5.8, pp. 13–15
  • Ausencia de artefactos públicos: Full text blind placeholders; exact-title and arXiv-ID searches of GitHub and web performed 15 July 2026
  • Inspección visual completa: All 53 pages of arXiv:2602.06596v2 rendered and visually inspected on 15 July 2026