Simulating Misinformation Propagation in Social Networks using Large Language Models

The article proposes studying information degradation through chains of rewrites produced by an LLM conditioned with 21 personas. Its defensible contribution is an exploratory demonstration: when the same short text is rewritten thirty times, an LLM judge progressively stops recovering some answers. Full-text, aggregate-data, and code inspection nevertheless shows that the experiment does not implement the published metric and does not simulate propagation in a social network. The headline figure, 85.2% of heterogeneous pairs reaching “propaganda”, recalculates exactly from the aggregates, but it comes from an incorrect reference, partly speculative questions, and unvalidated thresholds. It is not evidence of human propaganda or real diffusion.

The design starts from ten texts of roughly 100–200 words about crime, education, health care, marketing, politics, sports, and technology. The appendix reproduces the texts but provides no complete table of source URLs, retrieval dates, or auditable provenance. For each text, the system constructs 21 linear branches of 30 nodes. In the homogeneous condition every node in a branch receives the same persona prompt; in the heterogeneous condition personas are randomly assigned. Profiles include left- and right-wing individuals, influencers, sensationalist and neutral news agencies, medical and technology specialists, a conflict creator, peacekeeper, simplifier, rural educator, young parent, low-education persona, LGBTQ+ advocate, journalists, religious leader, gadget consumer, environmentalist, and startup founder. These are stereotype-like instructions applied to one model, not human-calibrated agents.

Each node receives the previous rewrite and produces another. An auditor generates ten yes/no questions per text and answers them at every step. The paper defines a binary answer vector, fixes a vector of ten ones as truth, and calls its Hamming distance from the auditor vector the Misinformation Index. Under that definition MI should range from 0 to 10. It then averages the 30 indices in a branch as the Misinformation Propagation Rate. MPR at or below 1 is labelled “factual error,” above 1 through 3 “lie,” and above 3 “propaganda.” No human annotation, reliability study, or empirical calibration supports those labels or cutoffs.

The public aggregates reconstruct the published counts. Across 210 homogeneous persona-domain combinations, 47 fall into error, 97 lie, and 66 propaganda. Across 210 heterogeneous branch-domain combinations, 13 fall into error, 18 lie, and 179 propaganda: 85.2%. The audit traced those numbers to the I1 column in scattered_chart.json. This verifies arithmetic, not the experiment: complete rewrites, question-answer vectors, persona assignments, API calls, logs, and the code transforming raw runs into the six visualization JSON files are missing.

The implementation contradicts the method at the decisive reference point. The alleged truth reference is not an all-ones vector. sendInfo generates node0Answers by asking GPT-4o-mini to answer the original article while playing an avid reader who shares news “in a hoax way,” distorts original facts, and hypes them. I1, the column reproducing the figures and percentages, compares that conditioned answer with the auditor. The 85.2% therefore measures disagreement with a same-family model baseline explicitly induced to distort, not distance from known true answers.

The scale also changes. Although the paper specifies binary answers, answerQuestions asks for 2 for yes, 0 for no, and 1 when the fact is absent. The function sums absolute differences over those values; it is not binary Hamming distance. Published records contain I1 values up to 11 and I2 values up to 14, impossible with ten bits. When an answer array is short, code pads it with -2 and continues, potentially expanding the range further. The paper calls the distance normalized, yet neither its equation nor code divides by ten.

There is also a one-node offset. The program creates rewrittenContent, but both persona and auditor answer questions about info.content, the incoming text before the current rewrite. The index stored with the new version evaluates the prior input. The paper says persona agents use GPT-4o and the auditor GPT-4o-mini; public code uses GPT-4o-mini for questions, rewrites, and auditing. Heterogeneous branches are described as allowing no more than two repetitions of a persona, while agentCounter < 3 permits three. Randomization uses unseeded Math.random and saves no assignment manifest. Temperature, top_p, snapshot, retries, and deterministic settings are absent.

Questions further weaken validity. The generator prompt explicitly requests potential developments, investigations, public concerns, rumors, and allegations that might arise later. The appendix asks, for example, whether rumors could arise, allegations might emerge, or a system's success could trigger investigations. These are not source facts. Failure to answer them is not loss of original information; introducing them could be fabrication, but the scheme may score them as recoverable. The index also cannot distinguish omission, contradiction, added falsehood, compression, ambiguity, or judge error.

The category names are therefore excessive. A lie implies knowledge and intent; propaganda generally involves communicative purpose, framing, and systematic persuasion. Here “propaganda” only means that average disagreement exceeds three across ten mixed-quality questions. Cutoffs at 1 and 3 are not validated against human judgments or empirical literature. The paper eventually acknowledges that truthfulness is multidimensional and recommends continuous scoring, yet it interprets its bins as substantive categories and attributes deliberateness to selected profiles.

There is no operational social network either. The 21 branches are independent telephone-game chains: they include no observed users, ties, exposure, selection, sharing decisions, branching cascades, repost probability, influence weights, homophily, or time. The experiment measures mandatory serial rewriting. Repeating a “medical expert” or “young parent” prompt thirty times does not create thirty independent agents. No human data validate that profiles reproduce those groups, and several instructions explicitly order exaggeration, omission, or distortion; subsequent degradation is partly induced by design.

There are no stochastic repetitions per cell, confidence intervals, or cross-model robustness. Generator and judge come from the same family, creating correlated errors. The paper assumes a perfect auditor without measuring sensitivity, specificity, human agreement, or stability. education1, the most resistant case, is excluded from the top/bottom-ten analysis as an outlier without a preregistered rule. Persona and domain differences are interpreted causally from a single random trajectory per combination.

Public reproducibility is low. The repository named LLM-Data-Poisoning contains appendix text and a frontend, not the advertised raw dataset. The backend retains only six aggregate JSON files and selected node subsets. Routes for complete results return 500 because files are absent. The main script is hard-coded to sports-0; environment-variable use is commented out, and no processor generating the aggregates is checked in. There is no release, tag, functional container, test suite, or license. The backend froze roughly thirteen months before paper submission.

Software quality adds severe risk. The public repository exposes an OpenAI project key in source and a different non-empty value in .env; this audit neither tested nor reproduced either value. Both must be treated as compromised, revoked, and removed from history. The backend has eight production vulnerabilities, one critical, and computes ports incorrectly: PORT=4000 binds to 4024 because it uses bitwise OR. The UI does not install normally because of a Chart.js peer conflict, ignores its lockfile, declares an invalid next build --force, and, after forcing dependencies, fails to prerender /data with self is not defined; its dependencies report another critical and six high vulnerabilities.

The work has strengths: it publishes all 21 prompts, ten texts, and 100 questions; describes its branches clearly; and acknowledges the lack of a realistic graph, temporal dynamics, continuous scoring, other models, and human validation. Aggregates suffice to verify counts. A rigorous conclusion must stay at that level: in one unreplicated GPT-4o-mini prototype, serial persona-conditioned rewrites increased an LLM judge's disagreement over a mixture of factual and speculative questions. It does not establish that LLM personas emulate human biases, experts stabilize networks, heterogeneous audiences create propaganda, or the framework predicts or mitigates misinformation diffusion in digital ecosystems.

El artículo propone estudiar el deterioro de información mediante cadenas de reescritura hechas por un LLM condicionado con 21 personajes. Su aportación defendible es una demostración exploratoria: cuando un mismo texto corto se reescribe treinta veces, un juez LLM deja de recuperar progresivamente ciertas respuestas. Sin embargo, la auditoría del texto completo, los agregados y el código muestra que el experimento no implementa la métrica publicada y no simula propagación en una red social. La cifra más llamativa, el 85,2 % de pares heterogéneos llega a «propaganda», se recalcula exactamente desde los agregados, pero procede de una referencia incorrecta, preguntas parcialmente especulativas y umbrales sin validar. No constituye evidencia de propaganda humana ni de difusión real.

El diseño parte de diez textos de unas 100-200 palabras sobre crimen, educación, salud, marketing, política, deporte y tecnología. El apéndice reproduce los textos, aunque no ofrece una tabla completa de URLs, fechas ni procedencia verificable. Para cada texto se construyen 21 ramas lineales de 30 nodos. En la condición homogénea todos los nodos de una rama reciben el mismo prompt de personaje; en la heterogénea se asignan personajes al azar. Los perfiles incluyen individuos de izquierda y derecha, influencers, agencias sensacionalista y neutral, especialistas médico y tecnológico, creador de conflicto, pacificador, simplificador, educador rural, progenitor joven, persona con bajo nivel educativo, activista LGBTQ+, periodistas, líder religioso, consumidor tecnológico, ecologista y fundador de startup. Son instrucciones estereotipadas aplicadas al mismo modelo, no personas calibradas con datos humanos.

Cada nodo recibe la reescritura anterior y produce otra. Un auditor formula diez preguntas sí/no por texto y las responde en cada paso. El artículo define un vector binario de respuestas, fija como verdad un vector de diez unos y llama Misinformation Index a su distancia de Hamming respecto a las respuestas del auditor. En esa definición el índice debería estar entre 0 y 10. Después promedia los 30 índices de una rama y denomina Misinformation Propagation Rate al resultado. Clasifica MPR menor o igual que 1 como «error factual», entre 1 y 3 como «mentira» y mayor que 3 como «propaganda». No aporta anotación humana, estudio de fiabilidad ni calibración empírica que justifique esos nombres o cortes.

Los agregados públicos permiten reconstruir las cuentas publicadas. En ramas homogéneas, de 210 combinaciones personaje-dominio, 47 quedan en error, 97 en mentira y 66 en propaganda. En ramas heterogéneas, 13 quedan en error, 18 en mentira y 179 en propaganda: 85,2 %. La auditoría identificó que esas cifras salen de la columna I1 de scattered_chart.json. Es una verificación aritmética del informe, no una reproducción del experimento: faltan las reescrituras completas, los vectores pregunta-respuesta, las asignaciones de personajes, las llamadas a la API, los logs y el código que convirtió los resultados crudos en los seis JSON de visualización.

El código contradice el método en un punto decisivo. La supuesta referencia de verdad no es un vector de unos. sendInfo genera node0Answers pidiendo a GPT-4o-mini que conteste el artículo original bajo el papel de un lector que comparte noticias «in a hoax way», distorsiona los hechos y los exagera. I1, la columna que reproduce figuras y porcentajes, compara esa respuesta condicionada con la del auditor. Por tanto, el 85,2 % no mide distancia a respuestas verdaderas conocidas, sino desacuerdo con una línea base generada por el mismo tipo de modelo y deliberadamente inducida a distorsionar.

También cambia la escala. Aunque el artículo habla de respuestas binarias, answerQuestions exige 2 para sí, 0 para no y 1 si el hecho no aparece. La función suma diferencias absolutas entre esos valores; no calcula Hamming binaria. Los datos publicados contienen I1 hasta 11 e I2 hasta 14, resultados imposibles si hubiera diez bits. Si una respuesta llega incompleta, el código rellena con -2 y sigue calculando, lo que puede ampliar aún más el rango. El texto llama a la distancia «normalizada», pero ni la ecuación ni el código dividen por diez.

Existe además un desfase de un nodo. El programa crea rewrittenContent, pero el personaje y el auditor contestan sobre info.content, es decir, el texto recibido antes de la reescritura actual. El índice almacenado junto a la nueva versión evalúa en realidad la entrada anterior. El artículo dice que los agentes usan GPT-4o y el auditor GPT-4o-mini; el código público emplea GPT-4o-mini para generar preguntas, reescribir y auditar. La condición heterogénea se describe con un máximo de dos repeticiones de cada personaje, mientras que la condición agentCounter < 3 permite tres. Usa Math.random sin seed y no guarda un manifiesto de asignación. Tampoco fija temperatura, top_p, snapshot, reintentos o ejecución determinista.

Las preguntas erosionan todavía más la validez. El propio prompt del generador solicita posibles desarrollos, investigaciones, preocupaciones públicas, rumores y acusaciones futuras. El apéndice pregunta, por ejemplo, si podrían surgir rumores, si aparecerían acusaciones o si el éxito de un sistema podría provocar investigaciones. No son hechos contenidos en la fuente. Que una reescritura no permita responderlos no equivale a perder información original; que los introduzca podría ser una invención, pero el esquema puede tratarla como respuesta recuperable. El índice tampoco separa omisión, contradicción, dato falso añadido, compresión, ambigüedad o error del juez.

Por eso las etiquetas son excesivas. Una mentira implica conocimiento e intención; propaganda suele implicar propósito comunicativo, encuadre y persuasión sistemática. Aquí «propaganda» significa únicamente que la media de desacuerdos supera tres en diez preguntas de calidad desigual. Los cortes 1 y 3 no se validan contra juicios humanos ni literatura empírica. El artículo reconoce al final que verdad y desinformación son multidimensionales y que debería usarse puntuación continua, pero aun así interpreta los bins como categorías sustantivas y atribuye deliberación a ciertos perfiles.

Tampoco hay una red social en sentido operativo. Las 21 ramas son cadenas de teléfono independientes: no existen usuarios observados, lazos, exposición, selección, decisión de compartir, bifurcaciones, cascadas, probabilidad de repost, pesos de influencia, homofilia ni tiempo. El experimento mide reescritura serial obligatoria. Repetir treinta veces un prompt de «médico» o «progenitor» tampoco crea treinta agentes independientes. No se valida que los perfiles reproduzcan conductas de esos grupos, y algunas instrucciones ordenan explícitamente exagerar, omitir o distorsionar; encontrar deterioro después de inducirlo es en parte una consecuencia del tratamiento.

No hay repeticiones estocásticas por celda, intervalos de confianza ni robustez entre modelos. Generador y juez pertenecen a la misma familia, de modo que comparten sesgos y errores. El artículo asume un auditor perfecto sin medir sensibilidad, especificidad, acuerdo humano o estabilidad. education1, el caso más resistente, se excluye del análisis de los diez extremos como outlier sin criterio previo. Las diferencias entre dominios y personajes se leen causalmente a partir de una sola trayectoria aleatoria por combinación.

La reproducibilidad pública es baja. El repositorio llamado LLM-Data-Poisoning contiene el apéndice y una interfaz, no el conjunto crudo anunciado. El backend conserva solo seis JSON agregados y subconjuntos de nodos. Las rutas de resultados completos devuelven 500 porque faltan los archivos. El script principal está fijado a sports-0; el uso de variables de entorno está comentado y no existe el procesador que produjo los agregados. No hay release, tag, contenedor funcional, tests ni licencia. El backend se congeló unos trece meses antes de la entrega del artículo.

La calidad de software añade riesgos graves. El repositorio público expone una clave de proyecto OpenAI en el código y otro valor no vacío en .env; esta auditoría no los prueba ni reproduce. Deben considerarse comprometidos, revocarse y eliminarse de todo el historial. El backend tiene ocho vulnerabilidades de producción, una crítica, y calcula mal el puerto: PORT=4000 arranca en 4024 por usar OR binario. La UI no instala normalmente por un conflicto Chart.js, ignora el lockfile, declara un next build --force inválido y, forzando dependencias, falla al prerenderizar /data con self is not defined; sus dependencias reportan otra vulnerabilidad crítica y seis altas.

El trabajo sí tiene méritos: publica los 21 prompts, los diez textos, las cien preguntas, describe claramente sus ramas y reconoce en limitaciones que no dispone de grafo real, tiempo, escala continua, otros modelos ni validación humana. Los agregados bastan para verificar los conteos. La conclusión rigurosa debe permanecer en ese nivel: en un prototipo no replicado con GPT-4o-mini, reescrituras seriales condicionadas por personajes aumentaron el desacuerdo de un juez LLM sobre una mezcla de preguntas factuales y especulativas. No demuestra que personajes LLM emulen sesgos humanos, que expertos estabilicen redes, que audiencias heterogéneas produzcan propaganda, ni que el marco prediga o mitigue la difusión de desinformación en ecosistemas digitales.