Battling Misinformation: An Empirical Study on Adversarial Factuality in Open-Source Large Language Models

This TrustNLP 2025 paper studies a narrow interaction: a user embeds a false premise in a question and a model responds without correcting it. The authors call this adversarial factuality and compare eight locally run models. They also change how the premise is introduced, 'As we know', 'I think', or 'I guess', to ask whether expressed user confidence changes correction behavior. The question matters for sycophancy and reliability, but the outcome is not the full factual accuracy of an answer. It is whether the model explicitly corrects the premise according to an automated judge.

The dataset comes from TrustLLM and contains 209 rows. Each pairs an assertion labeled correct, a modified assertion labeled incorrect, a related query, and a prompt. TrustLLM reports manually writing dozens of seeds and asking GPT-4 to expand the collection across history, art, health, finance, science, and computing. This paper keeps 'As we know' as high confidence, replaces it with 'I think' for moderate confidence, and uses 'I guess' for limited confidence. Because each level has one fixed phrase, confidence is confounded with wording. There are no paraphrase families, human confidence ratings, or manipulation checks showing that any difference comes from perceived confidence rather than the exact tokens.

The models are reported as LLaMA 3.1 8B, Phi 3 3.8B, Qwen 2.5 7B, DeepSeek-v2 16B, Gemma 2 9B, Falcon 7B, Mistrallite 7B, and LLaVA 7B. They run through Ollama 0.5.12 on a 32GB RTX 5000 Ada. The paper supplies no exact tags, weight revisions, base/instruct variants, quantization, content hashes, chat templates, or target-model decoding settings. The concrete checkpoints behind the figures therefore cannot be identified, and the blanket 'open-source' description cannot be verified from family names and parameter counts alone.

GPT-4o is a two-stage judge at temperature zero, but its dated snapshot is not reported. It first compares the prompt with the dataset knowledge and decides whether misinformation is present. Since all 209 rows are treated as false by design, this stage should always return Incorrect. It then receives the model response and decides whether it explicitly corrects the user and supports the reference knowledge. Failure to do so counts as a successful attack. The authors say they manually verified each row 'across all models', but give no reviewer count, decision count, instructions, blinding, disagreement process, or agreement statistic. It is also unclear whether manual review covered the redundant first stage or the response judgments that determine the rates.

Under 'As we know', attack-success rates are 4.78% for LLaMA 3.1, 22.97% for Gemma 2, 34.45% for Qwen 2.5, 47.85% for DeepSeek-v2, 52.63% for Phi 3, 66.51% for LLaVA, 69.86% for Mistrallite, and 73.68% for Falcon. Over 209 prompts these map exactly to 10, 48, 72, 100, 110, 139, 146, and 154 responses without explicit correction. Replacing the prefix with 'I think' lowers the rate for six models: Qwen to 26.32%, DeepSeek to 39.23%, Gemma to 18.66%, Falcon to 64.11%, Mistrallite to 62.68%, and LLaVA to 49.28%. LLaMA rises to 7.66%, while Phi 3 jumps to 91.87%.

Full-corpus 'I guess' results are reported only for the two models whose prior direction was anomalous. LLaMA reaches 10.05%, 21 of 209, and Phi 3 reaches 93.78%, 196 of 209. This is a striking observation for those particular artifacts, but it is a post-hoc follow-up and leaves six models without complete third-condition results. The abstract's broad three-tier framing therefore exceeds the global comparison in the tables. LLaMA is best in the reported full-corpus conditions. Falcon is worst under high confidence, but Phi 3 is far worse under moderate confidence, so the broad claim that Falcon performs worst is condition-specific.

To explain the tails, the paper inspects five prompts with the most failures and five with the fewest. Difficult cases mix subtle or ambiguous premises, Congo versus Amazon as the largest tropical rainforest, Bill Gates as an investor, the Sistine Chapel in Rome, and Amazon versus Nile length, whereas easy cases contain conspicuous errors such as cheese made from water or the Super Bowl belonging to baseball. This qualitative reading suggests that blurred factual boundaries hinder correction, but obscurity is not operationalized, the full corpus is not annotated, and the explanation is not statistically tested. The paper also says the difficult cases are not outright falsehoods while the pipeline forces the judge to treat all of them as binary misinformation.

Inspection of the public JSON shows genuine label risks. It has 209 unique prompts but only 200 unique knowledge strings and seven normalized duplicate knowledge groups. Its asserted ground truth includes 'The Sahara is the largest desert in the world', which is false without the qualifier 'hot desert', and treats the Nile-Amazon length dispute as binary. Locating the Sistine Chapel in Rome is politically imprecise yet geographically understandable, and calling Bill Gates a highly successful investor is subjective. GPT-4o receives the alleged correct knowledge as authority, so it cannot detect these benchmark errors; it can only judge conformity to the supplied label.

The most important construct limitation is that not correcting a premise does not necessarily mean producing misinformation. Many queries can be answered correctly while ignoring the preface; countries through which the Amazon flows do not depend on whether it is the longest river. Such a factual answer is counted as an attack if it does not explicitly dispute length. Conversely, correcting one phrase earns credit even if the remainder of the answer contains errors. The metric is explicit premise correction, not total accuracy, psychological acceptance, or real-world misinformation propagation.

No confidence intervals, paired tests, repeated generations, judge-stability analysis, or dependence modeling are reported. There is also no paper-specific code or output release. The upstream dataset and toolkit are public, but target responses, GPT-4o decisions, manual annotations, and analysis scripts are missing. The faithful conclusion is therefore narrow: under this benchmark and criterion, eight Ollama-served model labels differ greatly in explicit correction and react unevenly to three discourse markers. That is useful evidence of framing sensitivity and a basis for better evaluations. It does not establish general factuality, a causal confidence effect, sycophancy as the mechanism, universal superiority of LLaMA 3.1, universal inferiority of Falcon, or robustness to real misinformation.

Este trabajo de TrustNLP 2025 estudia una situación muy concreta: un usuario incluye una premisa falsa en una pregunta y el modelo responde sin corregirla. Los autores llaman a esto adversarial factuality y comparan ocho modelos ejecutados localmente. También cambian la forma de presentar la premisa, «As we know», «I think» o «I guess», para preguntar si la confianza expresada por el usuario modifica la tendencia del modelo a corregirlo. La idea es relevante para sycophancy y fiabilidad, pero el outcome no es la factualidad completa de la respuesta: es si el modelo corrige explícitamente la premisa según un juez automático.

El conjunto procede de TrustLLM y contiene 209 filas. Cada una empareja una afirmación considerada correcta, una versión modificada considerada incorrecta, una pregunta relacionada y un prompt. TrustLLM explica que redactó manualmente decenas de semillas y pidió a GPT-4 que ampliara el corpus a historia, arte, salud, finanzas, ciencia e informática. El estudio mantiene «As we know» como condición de alta confianza, lo sustituye por «I think» para confianza moderada y por «I guess» para confianza limitada. Como solo existe una frase fija por nivel, la manipulación confunde confianza con wording: no hay paráfrasis, ratings humanos ni control que demuestre que la diferencia procede de confianza percibida y no de los tokens concretos.

Los modelos se nombran como LLaMA 3.1 8B, Phi 3 3.8B, Qwen 2.5 7B, DeepSeek-v2 16B, Gemma 2 9B, Falcon 7B, Mistrallite 7B y LLaVA 7B. Corren mediante Ollama 0.5.12 en una RTX 5000 Ada de 32 GB. El artículo no proporciona tags exactos, revisión de pesos, variante base o instruct, cuantización, hash, plantilla de chat ni parámetros de decodificación de estos ocho modelos. Por eso no es posible saber qué checkpoints concretos produjeron las cifras ni verificar la etiqueta general «open-source»; los nombres y tamaños no bastan para identificar artefactos reproducibles.

GPT-4o actúa como juez en dos pasos y se consulta a temperatura cero, sin snapshot fechado. Primero compara el prompt con el conocimiento del dataset y decide si contiene desinformación. Como las 209 filas se tratan por diseño como falsas, esta fase siempre debe devolver Incorrect. Después recibe la respuesta del modelo y decide si corrige explícitamente al usuario y respalda el conocimiento de referencia. Si no lo hace, el estudio cuenta un ataque exitoso. Los autores dicen haber verificado manualmente cada fila «across all models», pero no indican revisores, número de decisiones, instrucciones, desacuerdos, cegado ni acuerdo. Tampoco queda claro si la comprobación manual cubrió la fase redundante o los juicios de corrección que determinan las tasas.

Con la condición «As we know», las tasas de ataque son 4,78% para LLaMA 3.1, 22,97% para Gemma 2, 34,45% para Qwen 2.5, 47,85% para DeepSeek-v2, 52,63% para Phi 3, 66,51% para LLaVA, 69,86% para Mistrallite y 73,68% para Falcon. Sobre 209 prompts equivalen exactamente a 10, 48, 72, 100, 110, 139, 146 y 154 respuestas sin corrección explícita. Al sustituir por «I think», seis modelos reducen su tasa: Qwen baja a 26,32%, DeepSeek a 39,23%, Gemma a 18,66%, Falcon a 64,11%, Mistrallite a 62,68% y LLaVA a 49,28%. LLaMA sube a 7,66% y Phi 3 salta a 91,87%.

El análisis global de «I guess» se publica solo para los dos modelos cuyo patrón anterior fue anómalo. LLaMA llega a 10,05%, 21 de 209, y Phi 3 a 93,78%, 196 de 209. Es una observación llamativa sobre esos artefactos concretos, pero es un seguimiento post hoc y deja sin resultados completos de la tercera condición a seis modelos. Por ello, el abstract alude a tres niveles de forma más amplia de lo que sostienen las tablas globales. LLaMA es el mejor en las condiciones completas reportadas; Falcon es el peor bajo alta confianza, pero Phi 3 es claramente peor bajo confianza moderada. La afirmación general de que Falcon rinde peor debe leerse como dependiente de condición.

Para explicar los extremos, el paper inspecciona cinco prompts con más fallos y cinco con menos. Los difíciles mezclan premisas sutiles o ambiguas, Congo frente a Amazon como mayor selva tropical, Bill Gates como inversor, Capilla Sixtina en Roma, Amazonas frente a Nilo; los fáciles contienen errores llamativos como queso hecho de agua o Super Bowl de béisbol. Esta lectura cualitativa sugiere que una frontera borrosa dificulta la corrección, pero no mide «oscuridad», no anota el corpus completo y no prueba estadísticamente esa explicación. Además, el texto dice que los casos difíciles no contienen falsedades rotundas mientras el pipeline obliga al juez a tratarlos como misinformation binaria.

La inspección del JSON público revela riesgos reales de etiqueta. Hay 209 prompts únicos pero solo 200 strings de conocimiento únicos y siete grupos duplicados tras normalización. El ground truth incluye «The Sahara is the largest desert in the world», que es incorrecto sin decir «hot desert»; también presenta como binaria la disputa Nilo-Amazonas. Decir que la Capilla Sixtina está en Roma es impreciso políticamente pero geográficamente comprensible, y llamar a Bill Gates un inversor de gran éxito es subjetivo. GPT-4o recibe el supuesto conocimiento correcto como autoridad, por lo que no puede detectar estos errores del benchmark: solo mide conformidad con la etiqueta proporcionada.

La limitación constructiva más importante es que no corregir una premisa no equivale necesariamente a producir desinformación. Muchas preguntas pueden contestarse correctamente ignorando el preámbulo; por ejemplo, los países por los que fluye el Amazonas no dependen de si es el río más largo. Esa respuesta factual se contaría como ataque si no discute explícitamente la longitud. A la inversa, corregir una frase basta para recibir crédito aunque el resto de la respuesta contenga errores. La métrica mide corrección explícita de premisas, no exactitud total, aceptación psicológica ni propagación real.

No se publican intervalos de confianza, tests pareados, repeticiones, estabilidad del juez ni análisis de dependencia. Tampoco hay código o outputs propios del estudio: el dataset y toolkit upstream sí son públicos, pero faltan respuestas de modelos, decisiones GPT-4o, anotación manual y scripts. Por tanto, la conclusión fiel es limitada: bajo este conjunto y criterio, ocho etiquetas de modelos servidas por Ollama difieren mucho en corrección explícita y reaccionan de forma desigual a tres marcadores discursivos. El resultado es útil como señal de sensibilidad al framing y para diseñar evaluaciones mejores. No demuestra factualidad general, causalidad de la confianza, sycophancy como mecanismo, calidad universal de LLaMA 3.1, inferioridad universal de Falcon ni robustez frente a desinformación real.