Testing theories of political persuasion using AI

This article asks whether LLMs enable large-scale experiments on classic mechanisms of political persuasion and, specifically, whether personalizing a message or turning it into a conversation increases its effect relative to generic text. The empirical contribution is real but narrower than the theoretical reading suggested by the title. Two preregistered surveys show that several GPT-4-generated persuasive packages cause small immediate changes in political survey responses relative to board-game controls. The principal models reproduce exactly from public data. However, the design does not manipulate customization and interaction orthogonally, does not measure cognitive elaboration, omits one preregistered dependent variable and many robustness analyses, cannot regenerate treatments exactly, and releases personal data that conflict with the anonymity promise made to participants.

The authors ran two CloudResearch Connect experiments in May 2024, paid USD 3 and approved by the Brigham Young University IRB. Study 1 concerns US legal immigration and analyzes 1,862 attitude-change responses. Study 2 concerns regulation of social and political views in K-12 classrooms and analyzes 1,819. Each person first answers three seven-point policy items. The second item determines the counterattitudinal direction that the treatment will promote. Change is calculated from the mean of all three items and signed toward the assigned direction. Immigration had a programming error: every neutral respondent received the pro-increased-immigration direction. K-12 corrected this and randomly assigned neutral respondents to either direction.

There are six conditions. Two controls concern board games: a fixed text and a six-turn conversation. Generic persuasive text is newly generated for every respondent but receives no profile. Microtargeted text receives age, gender, race or ethnicity, marital status, religion, education, occupation, city, state, party, ideology, and pretreatment position, although it is told not to mention them explicitly. Interactive direct persuasion lasts six turns and also receives the profile and replies. Motivational interviewing does the same but asks the person to discover discrepancies without introducing new arguments. In practice its prompt adopts a campaign role, directs the model to change the voter's mind, and says to push harder if the person cannot identify advantages of the opposing position.

Outcomes are immediate self-reports. Besides attitude change, the survey asks hypothetical likelihood of voting for a candidate holding the promoted position, perceived persuasiveness, and four democratic-reciprocity items. There is no follow-up, real electoral behavior, or naturalistic exposure. The first immigration index item loads only 0.50 before and 0.48 after treatment, yet all three items receive equal weight. Controls are pooled because six t tests do not reject differences on the three published outcomes. That follows the preregistration, but failure to reject is not evidence that fixed reading and a six-turn conversation are equivalent.

The audit reproduces the primary OLS models. In immigration, relative to pooled controls, treatment-direction attitude change is 0.0595 for interactive direct, 0.0561 for generic, and 0.0461 for microtargeting, all significant; motivational interviewing is 0.0046, p=.749. Voting-intention coefficients for direct, generic, and microtargeted are 0.0645, 0.0745, and 0.0424; the last is p=.0487 and motivational interviewing is null. No strategy conventionally changes democratic reciprocity. These are shifts of a few percentage points of the scale, not large political conversions.

In K-12, all four packages change attitude: 0.0788 for direct interaction, 0.0575 for motivational interviewing, 0.0537 for generic, and 0.1006 for microtargeting. All four increase hypothetical voting intention, with coefficients from 0.0428 to 0.0859. On democratic reciprocity only the two interactive conditions change the outcome: 0.0418 for direct and 0.0418 for motivational interviewing; generic is null and microtargeting is p=.064. The data support immediate counterattitudinal movement, while effects on tolerance toward opponents are weak and inconsistent.

The conclusion that customization and interaction add little beyond generic text requires caution. Conditions do not form a 2×2 factorial. Generic has neither profile nor interaction; microtargeting adds a profile; direct simultaneously adds profile, conversation, more text, more time, and adaptive replies; motivational interviewing retains profile and interaction while changing strategy and content. Direct persuasion is already customized. Comparing it with generic changes several features at once. Comparing it with microtargeting approximates an interaction contrast but also changes turns, length, and dynamics. There is no manipulation check of perceived customization, elaboration, attention, motivation, or ability. Conversation is used as a proxy for elaboration without demonstrating the mechanism. Similar effects can mean a small increment, a weak or confounded manipulation, or differences inside uncertainty; they do not broadly refute the theories.

Prompt selection adds another limitation. The team tested roughly 110 templates and then around 30 variants. It chose the template maximizing variation and mutual information between profiles and embedded texts, assuming more differentiated messages would be more targeted and persuasive. The supplement acknowledges that this proxy is not validated against actual persuasiveness. Candidate templates, GSS personas, scores, and selection code are absent. The study tests one implementation selected for text diversity, not the maximum potential or a validated definition of effective customization.

The preregistrations support the central models, but reporting is incomplete. Four dependent variables were registered and the article presents three. Self-reported persuasiveness was collected, but controls did not receive the item, so the registered treatment-control comparison cannot be run as written. The four persuasive strategies can still be compared. In immigration, generic, microtargeted, and direct means are 0.396, 0.404, and 0.402; motivational interviewing falls to 0.306 and differs from generic, p=.00034. In K-12, generic averages 0.330, direct 0.424, and microtargeting 0.391; direct and microtargeted exceed generic, p=.00018 and p=.015. These do not reverse attitude change, but show perceived format differences whose omission is unexplained.

The report also omits registered Holm corrections, attention-check restrictions, reCAPTCHA restrictions, 2.5th-percentile time exclusions, conversational compliance, demographic controls, confidence outcomes, moderation by political interest or AI concern, and the absolute-change analysis planned for Study 2 motivational interviewing. The supplement does disclose Study 2 expectation changes after Study 1 and acknowledges the neutral-assignment error, which is a strength. It should still separate confirmatory tests, deviations, and exploration and explain every unreported registered result.

Reproducibility is mixed. OSF provides preregistrations, prompts, exports, complete messages and conversations, R cleaning, and scripts. The audit reproduces coefficients, errors, p values, and sample sizes. Yet the model is identified only as GPT-4, without snapshot, temperature, seed, or retry policy, and generation code is absent. There is no R lockfile, Python requirements, container, or OSF license. Keyword analysis calls GPT-4o at temperature 1 and warns that it will not reproduce labels, fixes 50 clusters manually, and moves results through Google Sheets. The Figure 1 notebook requires CUDA, suppresses broad exceptions, and swaps plus/minus color lists for motivational interviewing. Some finishing used Illustrator. Replication is strong for OLS and weak for generation, prompt selection, and NLP.

The most serious issue is the public data release. Consent promises an anonymous survey, no ability to link responses back to people, and publication of anonymous data. The immigration CSV nevertheless retains 1,932 IP addresses, 1,781 coordinate pairs, 1,932 ResponseIds, and 1,928 participantIds; K-12 retains 1,875 IPs, 1,810 coordinate pairs, 1,875 ResponseIds, and 1,853 participantIds. The same rows include timestamps, city, state, age, gender, race or ethnicity, religion, marital status, income, education, party, ideology, free-text occupation, and full conversation content. This audit reproduces no personal values. The combination is not anonymous and creates material reidentification risk. Files should be removed or restricted immediately, reported to the responsible institutional or IRB function, and replaced with genuinely de-identified analytic data.

The defensible contribution is that a 2024 GPT-4 implementation enabled scalable political-message experiments and caused small immediate shifts relative to nonpolitical controls. It does not establish that microtargeting is useless, that conversation failed to produce elaboration, that broad theories need replacement, or that effects persist, alter real votes, or generalize to other topics, countries, models, or settings. A reference entry should foreground the reproduced effects, nonfactorial design, omitted outcome, generation limits, and critical personal-data exposure.

Este artículo pregunta si los LLM permiten experimentar a gran escala con mecanismos clásicos de persuasión política y, en particular, si personalizar un mensaje o convertirlo en conversación aumenta su efecto frente a un texto genérico. La contribución empírica es real pero más estrecha que la lectura teórica sugerida por el título. Dos encuestas preregistradas muestran que varios paquetes persuasivos generados con GPT-4 causan pequeños cambios inmediatos en respuestas políticas frente a controles sobre juegos de mesa. Los modelos principales se reproducen exactamente desde los datos públicos. Sin embargo, el diseño no manipula personalización e interacción de manera ortogonal, no mide elaboración cognitiva, omite una variable dependiente preregistrada y numerosos análisis de robustez, no permite regenerar exactamente los tratamientos y publica datos personales incompatibles con la promesa de anonimato hecha a los participantes.

Los autores realizaron en mayo de 2024 dos experimentos en CloudResearch Connect, pagados con 3 dólares y aprobados por el IRB de Brigham Young University. El Estudio 1 trata la inmigración legal en Estados Unidos y analiza 1.862 respuestas para cambio de actitud. El Estudio 2 trata la regulación de opiniones sociales y políticas en aulas K-12 y analiza 1.819. Cada persona contesta primero tres ítems políticos de siete puntos. La segunda pregunta determina la dirección contraria a su postura que promoverá el tratamiento. Se calcula el cambio en el promedio de los tres ítems y se orienta el signo hacia la dirección asignada. En inmigración hubo un error de programación: todos los neutrales recibieron mensajes favorables a aumentar la inmigración. En K-12 se corrigió y los neutrales se asignaron aleatoriamente a una de las dos direcciones.

Hay seis condiciones. Dos controles hablan de juegos de mesa: un texto fijo y una conversación de seis turnos. El texto persuasivo genérico es una generación nueva para cada persona, pero no recibe su perfil. El microdirigido sí recibe edad, género, raza o etnia, estado civil, religión, educación, ocupación, ciudad, estado, partido, ideología y posición previa, aunque se le ordena no mencionar esos atributos explícitamente. La persuasión directa mantiene seis turnos y también recibe el perfil y las respuestas del participante. La entrevista motivacional hace lo mismo, pero pide que la persona encuentre discrepancias sin introducir argumentos nuevos. En la práctica el prompt adopta el papel de una campaña, ordena cambiar la opinión y pide presionar más si la persona no encuentra ventajas de la posición contraria.

El resultado es inmediato y autoinformado. Además del cambio de actitud se pregunta la probabilidad hipotética de votar por un candidato con la postura promovida, cuánto persuadió el mensaje y cuatro ítems de reciprocidad democrática. No hay seguimiento, conducta electoral real ni observación natural. El primer ítem del índice de inmigración carga solo 0,50 antes y 0,48 después, pero los tres se promedian con igual peso. Los controles se agrupan porque seis pruebas t no rechazan diferencias en las tres variables publicadas; eso sigue el preregistro, aunque una no significación no demuestra equivalencia entre una lectura fija y una conversación.

La auditoría reproduce los OLS principales. En inmigración, frente al control agrupado, el cambio orientado al tratamiento es 0,0595 para persuasión directa, 0,0561 para texto genérico y 0,0461 para microdirección, todos significativos; entrevista motivacional da 0,0046, p=0,749. En intención de voto, directa, genérica y microdirigida dan 0,0645, 0,0745 y 0,0424; la última queda en p=0,0487 y la entrevista es nula. Ninguna estrategia cambia convencionalmente la reciprocidad democrática. Son desplazamientos de pocos puntos porcentuales de la escala, no grandes conversiones políticas.

En K-12 los cuatro paquetes cambian la actitud: 0,0788 para interacción directa, 0,0575 para entrevista motivacional, 0,0537 para texto genérico y 0,1006 para microdirección. Los cuatro elevan la intención hipotética de voto, con coeficientes entre 0,0428 y 0,0859. En reciprocidad democrática solo las dos condiciones interactivas cambian: 0,0418 para directa y 0,0418 para entrevista; el genérico es nulo y el microdirigido queda en p=0,064. Los datos sostienen que mensajes contrarios a la postura inicial pueden mover respuestas inmediatas y que el efecto sobre tolerancia al adversario es débil e inconsistente.

La conclusión de que personalización e interacción no aportan mucho más que el genérico requiere cautela. Las condiciones no forman un factorial 2×2. El genérico carece de perfil e interacción; el microdirigido añade perfil; la directa añade simultáneamente perfil, conversación, más texto, más tiempo y respuestas adaptativas; la entrevista conserva perfil e interacción pero cambia estrategia y contenido. La directa ya está personalizada. Compararla con el genérico cambia varias propiedades a la vez. Compararla con la microdirigida aproxima el efecto de interacción, pero también cambia turnos, longitud y dinámica. No hay manipulation check de personalización percibida, elaboración, atención, motivación o capacidad. La conversación se usa como proxy de elaboración sin demostrar el mecanismo. Resultados similares pueden significar efecto adicional pequeño, manipulación débil o confusa, o diferencias dentro de la incertidumbre; no refutan de forma general las teorías.

La selección del prompt añade otra limitación. El equipo probó aproximadamente 110 plantillas y después unas 30 variantes. Escogió la que maximizaba variación y mutual information entre perfiles y textos embebidos, suponiendo que mensajes más diferentes serían más microdirigidos y persuasivos. El suplemento reconoce que este proxy no está validado contra persuasión real. No se publican plantillas candidatas, perfiles GSS, puntuaciones ni código de selección. El estudio prueba una implementación elegida por diversidad textual, no el potencial máximo ni una definición validada de personalización eficaz.

Los preregistros confirman los modelos centrales, pero el informe es incompleto. Se registraron cuatro variables dependientes y el artículo presenta tres. La persuasividad autoinformada se recogió, pero los controles no recibieron la pregunta, por lo que el contraste tratamiento-control registrado no puede ejecutarse tal como estaba escrito. Sí pueden compararse las cuatro estrategias. En inmigración, genérico, microdirigido y directo promedian 0,396, 0,404 y 0,402; la entrevista baja a 0,306 y difiere del genérico, p=0,00034. En K-12, genérico promedia 0,330, directo 0,424 y microdirigido 0,391; directa y microdirigida superan al genérico, p=0,00018 y p=0,015. No revierten los cambios de actitud, pero muestran diferencias percibidas cuya omisión no se explica.

Tampoco aparecen la corrección Holm, restricciones por attention check, reCAPTCHA, 2,5 percentil de tiempo o cumplimiento conversacional, controles demográficos, confianza, moderaciones por interés político o preocupación por IA, ni el cambio absoluto previsto para la entrevista del Estudio 2. El suplemento sí declara cambios entre preregistros tras conocer el Estudio 1 y reconoce el error de neutrales, una fortaleza. Aun así, debería distinguir análisis confirmatorios, desviaciones y exploraciones y explicar cada resultado registrado no publicado.

La reproducibilidad es mixta. OSF ofrece preregistros, prompts, exportaciones, mensajes y conversaciones, limpieza R y scripts. La auditoría reproduce coeficientes, errores, p y tamaños. No obstante, solo se informa «GPT-4», sin snapshot, temperatura, seed o reintentos, y falta el código de generación. No hay lockfile R, requirements Python, contenedor ni licencia OSF. El análisis de palabras clave llama a GPT-4o con temperatura 1 y advierte que no reproducirá las etiquetas; fija manualmente 50 clústeres y pasa resultados por Google Sheets. El notebook de Figura 1 exige CUDA, silencia excepciones e invierte listas plus/minus para la condición motivacional. Parte del acabado se hizo en Illustrator. La replicación es fuerte para OLS y débil para generación, selección de prompt y NLP.

La incidencia más grave está en los datos públicos. El consentimiento promete encuesta anónima, imposibilidad de vincular respuestas y publicación de datos anónimos. Sin embargo, el CSV de inmigración conserva 1.932 IP, 1.781 pares de coordenadas, 1.932 ResponseId y 1.928 participantId; K-12 conserva 1.875 IP, 1.810 coordenadas, 1.875 ResponseId y 1.853 participantId. Las mismas filas incluyen timestamps, ciudad, estado, edad, género, raza o etnia, religión, estado civil, ingresos, educación, partido, ideología, ocupación libre y conversación completa. Esta auditoría no reproduce valores personales. La combinación no es anónima y crea riesgo material de reidentificación. Los archivos deberían retirarse o restringirse de inmediato, notificarse a la función institucional o IRB responsable y sustituirse por datos realmente desidentificados.

La contribución defendible es que una implementación GPT-4 de 2024 permitió comparar mensajes políticos a escala y causó pequeños desplazamientos inmediatos frente a controles no políticos. No establece que la microdirección sea inútil, que conversar no produzca elaboración, que teorías generales deban reemplazarse, ni que los efectos duren, cambien votos reales o generalicen a otros temas, países, modelos o contextos. Una ficha de referencia debe mostrar los efectos reproducidos, el diseño no factorial, la variable omitida, los límites de generación y, con máxima visibilidad, la exposición crítica de datos personales.