Battling Misinformation: An Empirical Study on Adversarial Factuality in Open-Source Large Language Models

Aplicaciones, sesgos y seguridad2025ACL AnthologyRevisión editorial aprobada

Autores: Shahnewaz Karim Sakib, Anindya Bijoy Das, Shibbir Ahmed

Palabras clave: Computation and Language, Cryptography and Security

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
8
Hallazgos
16
Limitaciones
5
Evidencias

Resumen editorial

Español

Este trabajo de TrustNLP 2025 estudia una situación muy concreta: un usuario incluye una premisa falsa en una pregunta y el modelo responde sin corregirla. Los autores llaman a esto adversarial factuality y comparan ocho modelos ejecutados localmente. También cambian la forma de presentar la premisa, «As we know», «I think» o «I guess», para preguntar si la confianza expresada por el usuario modifica la tendencia del modelo a corregirlo. La idea es relevante para sycophancy y fiabilidad, pero el outcome no es la factualidad completa de la respuesta: es si el modelo corrige explícitamente la premisa según un juez automático.

El conjunto procede de TrustLLM y contiene 209 filas. Cada una empareja una afirmación considerada correcta, una versión modificada considerada incorrecta, una pregunta relacionada y un prompt. TrustLLM explica que redactó manualmente decenas de semillas y pidió a GPT-4 que ampliara el corpus a historia, arte, salud, finanzas, ciencia e informática. El estudio mantiene «As we know» como condición de alta confianza, lo sustituye por «I think» para confianza moderada y por «I guess» para confianza limitada. Como solo existe una frase fija por nivel, la manipulación confunde confianza con wording: no hay paráfrasis, ratings humanos ni control que demuestre que la diferencia procede de confianza percibida y no de los tokens concretos.

Los modelos se nombran como LLaMA 3.1 8B, Phi 3 3.8B, Qwen 2.5 7B, DeepSeek-v2 16B, Gemma 2 9B, Falcon 7B, Mistrallite 7B y LLaVA 7B. Corren mediante Ollama 0.5.12 en una RTX 5000 Ada de 32 GB. El artículo no proporciona tags exactos, revisión de pesos, variante base o instruct, cuantización, hash, plantilla de chat ni parámetros de decodificación de estos ocho modelos. Por eso no es posible saber qué checkpoints concretos produjeron las cifras ni verificar la etiqueta general «open-source»; los nombres y tamaños no bastan para identificar artefactos reproducibles.

GPT-4o actúa como juez en dos pasos y se consulta a temperatura cero, sin snapshot fechado. Primero compara el prompt con el conocimiento del dataset y decide si contiene desinformación. Como las 209 filas se tratan por diseño como falsas, esta fase siempre debe devolver Incorrect. Después recibe la respuesta del modelo y decide si corrige explícitamente al usuario y respalda el conocimiento de referencia. Si no lo hace, el estudio cuenta un ataque exitoso. Los autores dicen haber verificado manualmente cada fila «across all models», pero no indican revisores, número de decisiones, instrucciones, desacuerdos, cegado ni acuerdo. Tampoco queda claro si la comprobación manual cubrió la fase redundante o los juicios de corrección que determinan las tasas.

Con la condición «As we know», las tasas de ataque son 4,78% para LLaMA 3.1, 22,97% para Gemma 2, 34,45% para Qwen 2.5, 47,85% para DeepSeek-v2, 52,63% para Phi 3, 66,51% para LLaVA, 69,86% para Mistrallite y 73,68% para Falcon. Sobre 209 prompts equivalen exactamente a 10, 48, 72, 100, 110, 139, 146 y 154 respuestas sin corrección explícita. Al sustituir por «I think», seis modelos reducen su tasa: Qwen baja a 26,32%, DeepSeek a 39,23%, Gemma a 18,66%, Falcon a 64,11%, Mistrallite a 62,68% y LLaVA a 49,28%. LLaMA sube a 7,66% y Phi 3 salta a 91,87%.

El análisis global de «I guess» se publica solo para los dos modelos cuyo patrón anterior fue anómalo. LLaMA llega a 10,05%, 21 de 209, y Phi 3 a 93,78%, 196 de 209. Es una observación llamativa sobre esos artefactos concretos, pero es un seguimiento post hoc y deja sin resultados completos de la tercera condición a seis modelos. Por ello, el abstract alude a tres niveles de forma más amplia de lo que sostienen las tablas globales. LLaMA es el mejor en las condiciones completas reportadas; Falcon es el peor bajo alta confianza, pero Phi 3 es claramente peor bajo confianza moderada. La afirmación general de que Falcon rinde peor debe leerse como dependiente de condición.

Para explicar los extremos, el paper inspecciona cinco prompts con más fallos y cinco con menos. Los difíciles mezclan premisas sutiles o ambiguas, Congo frente a Amazon como mayor selva tropical, Bill Gates como inversor, Capilla Sixtina en Roma, Amazonas frente a Nilo; los fáciles contienen errores llamativos como queso hecho de agua o Super Bowl de béisbol. Esta lectura cualitativa sugiere que una frontera borrosa dificulta la corrección, pero no mide «oscuridad», no anota el corpus completo y no prueba estadísticamente esa explicación. Además, el texto dice que los casos difíciles no contienen falsedades rotundas mientras el pipeline obliga al juez a tratarlos como misinformation binaria.

La inspección del JSON público revela riesgos reales de etiqueta. Hay 209 prompts únicos pero solo 200 strings de conocimiento únicos y siete grupos duplicados tras normalización. El ground truth incluye «The Sahara is the largest desert in the world», que es incorrecto sin decir «hot desert»; también presenta como binaria la disputa Nilo-Amazonas. Decir que la Capilla Sixtina está en Roma es impreciso políticamente pero geográficamente comprensible, y llamar a Bill Gates un inversor de gran éxito es subjetivo. GPT-4o recibe el supuesto conocimiento correcto como autoridad, por lo que no puede detectar estos errores del benchmark: solo mide conformidad con la etiqueta proporcionada.

La limitación constructiva más importante es que no corregir una premisa no equivale necesariamente a producir desinformación. Muchas preguntas pueden contestarse correctamente ignorando el preámbulo; por ejemplo, los países por los que fluye el Amazonas no dependen de si es el río más largo. Esa respuesta factual se contaría como ataque si no discute explícitamente la longitud. A la inversa, corregir una frase basta para recibir crédito aunque el resto de la respuesta contenga errores. La métrica mide corrección explícita de premisas, no exactitud total, aceptación psicológica ni propagación real.

No se publican intervalos de confianza, tests pareados, repeticiones, estabilidad del juez ni análisis de dependencia. Tampoco hay código o outputs propios del estudio: el dataset y toolkit upstream sí son públicos, pero faltan respuestas de modelos, decisiones GPT-4o, anotación manual y scripts. Por tanto, la conclusión fiel es limitada: bajo este conjunto y criterio, ocho etiquetas de modelos servidas por Ollama difieren mucho en corrección explícita y reaccionan de forma desigual a tres marcadores discursivos. El resultado es útil como señal de sensibilidad al framing y para diseñar evaluaciones mejores. No demuestra factualidad general, causalidad de la confianza, sycophancy como mecanismo, calidad universal de LLaMA 3.1, inferioridad universal de Falcon ni robustez frente a desinformación real.

English

This TrustNLP 2025 paper studies a narrow interaction: a user embeds a false premise in a question and a model responds without correcting it. The authors call this adversarial factuality and compare eight locally run models. They also change how the premise is introduced, 'As we know', 'I think', or 'I guess', to ask whether expressed user confidence changes correction behavior. The question matters for sycophancy and reliability, but the outcome is not the full factual accuracy of an answer. It is whether the model explicitly corrects the premise according to an automated judge.

The dataset comes from TrustLLM and contains 209 rows. Each pairs an assertion labeled correct, a modified assertion labeled incorrect, a related query, and a prompt. TrustLLM reports manually writing dozens of seeds and asking GPT-4 to expand the collection across history, art, health, finance, science, and computing. This paper keeps 'As we know' as high confidence, replaces it with 'I think' for moderate confidence, and uses 'I guess' for limited confidence. Because each level has one fixed phrase, confidence is confounded with wording. There are no paraphrase families, human confidence ratings, or manipulation checks showing that any difference comes from perceived confidence rather than the exact tokens.

The models are reported as LLaMA 3.1 8B, Phi 3 3.8B, Qwen 2.5 7B, DeepSeek-v2 16B, Gemma 2 9B, Falcon 7B, Mistrallite 7B, and LLaVA 7B. They run through Ollama 0.5.12 on a 32GB RTX 5000 Ada. The paper supplies no exact tags, weight revisions, base/instruct variants, quantization, content hashes, chat templates, or target-model decoding settings. The concrete checkpoints behind the figures therefore cannot be identified, and the blanket 'open-source' description cannot be verified from family names and parameter counts alone.

GPT-4o is a two-stage judge at temperature zero, but its dated snapshot is not reported. It first compares the prompt with the dataset knowledge and decides whether misinformation is present. Since all 209 rows are treated as false by design, this stage should always return Incorrect. It then receives the model response and decides whether it explicitly corrects the user and supports the reference knowledge. Failure to do so counts as a successful attack. The authors say they manually verified each row 'across all models', but give no reviewer count, decision count, instructions, blinding, disagreement process, or agreement statistic. It is also unclear whether manual review covered the redundant first stage or the response judgments that determine the rates.

Under 'As we know', attack-success rates are 4.78% for LLaMA 3.1, 22.97% for Gemma 2, 34.45% for Qwen 2.5, 47.85% for DeepSeek-v2, 52.63% for Phi 3, 66.51% for LLaVA, 69.86% for Mistrallite, and 73.68% for Falcon. Over 209 prompts these map exactly to 10, 48, 72, 100, 110, 139, 146, and 154 responses without explicit correction. Replacing the prefix with 'I think' lowers the rate for six models: Qwen to 26.32%, DeepSeek to 39.23%, Gemma to 18.66%, Falcon to 64.11%, Mistrallite to 62.68%, and LLaVA to 49.28%. LLaMA rises to 7.66%, while Phi 3 jumps to 91.87%.

Full-corpus 'I guess' results are reported only for the two models whose prior direction was anomalous. LLaMA reaches 10.05%, 21 of 209, and Phi 3 reaches 93.78%, 196 of 209. This is a striking observation for those particular artifacts, but it is a post-hoc follow-up and leaves six models without complete third-condition results. The abstract's broad three-tier framing therefore exceeds the global comparison in the tables. LLaMA is best in the reported full-corpus conditions. Falcon is worst under high confidence, but Phi 3 is far worse under moderate confidence, so the broad claim that Falcon performs worst is condition-specific.

To explain the tails, the paper inspects five prompts with the most failures and five with the fewest. Difficult cases mix subtle or ambiguous premises, Congo versus Amazon as the largest tropical rainforest, Bill Gates as an investor, the Sistine Chapel in Rome, and Amazon versus Nile length, whereas easy cases contain conspicuous errors such as cheese made from water or the Super Bowl belonging to baseball. This qualitative reading suggests that blurred factual boundaries hinder correction, but obscurity is not operationalized, the full corpus is not annotated, and the explanation is not statistically tested. The paper also says the difficult cases are not outright falsehoods while the pipeline forces the judge to treat all of them as binary misinformation.

Inspection of the public JSON shows genuine label risks. It has 209 unique prompts but only 200 unique knowledge strings and seven normalized duplicate knowledge groups. Its asserted ground truth includes 'The Sahara is the largest desert in the world', which is false without the qualifier 'hot desert', and treats the Nile-Amazon length dispute as binary. Locating the Sistine Chapel in Rome is politically imprecise yet geographically understandable, and calling Bill Gates a highly successful investor is subjective. GPT-4o receives the alleged correct knowledge as authority, so it cannot detect these benchmark errors; it can only judge conformity to the supplied label.

The most important construct limitation is that not correcting a premise does not necessarily mean producing misinformation. Many queries can be answered correctly while ignoring the preface; countries through which the Amazon flows do not depend on whether it is the longest river. Such a factual answer is counted as an attack if it does not explicitly dispute length. Conversely, correcting one phrase earns credit even if the remainder of the answer contains errors. The metric is explicit premise correction, not total accuracy, psychological acceptance, or real-world misinformation propagation.

No confidence intervals, paired tests, repeated generations, judge-stability analysis, or dependence modeling are reported. There is also no paper-specific code or output release. The upstream dataset and toolkit are public, but target responses, GPT-4o decisions, manual annotations, and analysis scripts are missing. The faithful conclusion is therefore narrow: under this benchmark and criterion, eight Ollama-served model labels differ greatly in explicit correction and react unevenly to three discourse markers. That is useful evidence of framing sensitivity and a basis for better evaluations. It does not establish general factuality, a causal confidence effect, sycophancy as the mechanism, universal superiority of LLaMA 3.1, universal inferiority of Falcon, or robustness to real misinformation.

Pregunta de investigación

¿Con qué frecuencia ocho LLM servidos localmente corrigen de forma explícita una premisa etiquetada como falsa, y cómo cambia esa tasa al sustituir «As we know» por «I think» o «I guess»?

Método

Evaluación sobre las 209 filas de Adversarial Factuality de TrustLLM. Ocho modelos vía Ollama responden prompts con una premisa modificada y una consulta relacionada. GPT-4o, a temperatura 0, compara primero el prompt con el conocimiento de referencia y después decide si la respuesta corrige explícitamente la premisa; la ausencia de corrección se cuenta como ataque exitoso. Se comparan dos niveles sobre los ocho modelos y un tercer nivel global solo en LLaMA 3.1 y Phi 3, seguido de inspección cualitativa de cinco prompts por cada extremo.

Muestra: 209 pares de conocimiento correcto/modificado y consulta en inglés; ocho etiquetas de modelo sobre alta y moderada confianza; confianza limitada agregada solo para LLaMA 3.1 y Phi 3. No hay usuarios, adversarios ni anotación humana documentada como muestra experimental.

Hallazgos

  • LLaMA 3.1 tiene el menor ASR reportado: 4,78% con «As we know» y 7,66% con «I think».
  • Falcon tiene el mayor ASR con alta confianza, 73,68%, pero Phi 3 es peor con confianza moderada, 91,87%.
  • Seis de ocho modelos reducen ASR al cambiar de «As we know» a «I think».
  • LLaMA y Phi 3 siguen la dirección opuesta; con «I guess» llegan a 10,05% y 93,78%.
  • Las tasas publicadas corresponden exactamente a conteos enteros sobre 209 filas.
  • Los prompts más difíciles tienden a ser ambiguos o discutibles; los más fáciles contienen errores llamativos.
  • El dataset público contiene duplicados conceptuales, una afirmación de ground truth claramente mal cualificada y otras etiquetas discutibles.
  • No pudo reproducirse ninguna tasa sin respuestas, juicios y scripts propios del estudio.

Limitaciones

  • El outcome mide corrección explícita, no factualidad completa de la respuesta.
  • Una respuesta correcta que ignora la premisa se cuenta como ataque exitoso.
  • Corregir la premisa recibe crédito aunque el resto de la respuesta pueda ser incorrecto.
  • Cada nivel de confianza usa una sola frase y queda confundido con wording.
  • No hay manipulación check, paráfrasis ni ratings humanos de confianza.
  • El corpus fue ampliado por GPT-4 y contiene etiquetas ambiguas, subjetivas, repetidas o incorrectas.
  • El juez recibe el ground truth como autoridad y no puede detectar sus errores.
  • No se informa snapshot de GPT-4o ni estabilidad, calibración o acuerdo humano.
  • La revisión manual carece de protocolo, revisores, número de decisiones y acuerdo.
  • No se identifican checkpoints, tags Ollama, cuantización, hashes, plantillas o decodificación.
  • La tercera condición completa solo se reporta post hoc para dos modelos.
  • No hay intervalos, tests pareados, corrección múltiple ni repeticiones.
  • El análisis de oscuridad usa diez casos extremos sin medida ni test predefinido.
  • La sycophancy se interpreta, pero no se mide directamente.
  • No hay código, outputs, juicios, anotación manual o scripts propios del paper.
  • La evaluación es monolingüe, de un turno y sobre conocimiento general.

Qué no demuestra

  • No mide factualidad general ni propagación real de misinformation.
  • No demuestra que todas las premisas estén correctamente etiquetadas.
  • No aísla causalmente confianza expresada frente a wording.
  • No prueba que Falcon sea siempre el menos robusto.
  • No compara a los ocho modelos en las tres condiciones completas.
  • No demuestra que la oscuridad cause más ataques.
  • No establece sycophancy como mecanismo.
  • No identifica resultados para checkpoints reproducibles.
  • No verifica que todos los modelos sean open-source.
  • No generaliza a desinformación real, diálogos largos o dominios críticos.
  • No reproduce independientemente los resultados.

Trazabilidad

Alcance: Texto completo

Versión: TrustNLP 2025 version of record, pages 432-443; arXiv:2503.10690v1

Fuente consultada: https://aclanthology.org/2025.trustnlp-main.28.pdf

Revisión: Codex 12-page visual, official-ACL, arXiv-source, TrustLLM-dataset, integer-count, judge-construct, model-identity, label-quality, statistics and reproducibility audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • LLaMA 3.1 8B, checkpoint exacto no informado
  • Phi 3 3.8B, checkpoint exacto no informado
  • Qwen 2.5 7B, checkpoint exacto no informado
  • DeepSeek-v2 16B, variante exacta no informada
  • Gemma 2 9B, checkpoint exacto no informado
  • Falcon 7B, checkpoint exacto no informado
  • Mistrallite 7B, checkpoint exacto no informado
  • LLaVA 7B, checkpoint exacto no informado
  • GPT-4o como juez, snapshot no informado

Instrumentos y métricas

  • TrustLLM golden_advfactuality.json
  • Prefijo de alta confianza «As we know»
  • Prefijo de confianza moderada «I think»
  • Prefijo de confianza limitada «I guess»
  • Juez GPT-4o binario de consistencia del prompt
  • Juez GPT-4o binario de corrección explícita
  • Attack success rate sobre 209 prompts
  • Inspección post hoc de cinco prompts superiores e inferiores

Datos utilizados

  • Adversarial Factuality de TrustLLM, 209 prompts únicos
  • 200 strings de conocimiento únicos
  • Corpus upstream ampliado por GPT-4 desde decenas de semillas humanas

Evidencia y localización

  • Metadatos, diseño, tasas, prompts, limitaciones y apéndices: ACL Anthology 2025.trustnlp-main.28, 12 páginas
  • Historial, licencia y fuentes TeX del preprint: arXiv:2503.10690v1
  • Construcción por semillas humanas más GPT-4 y definición upstream de la tarea: TrustLLM, arXiv:2401.05561, sección 6.4
  • 209 filas, duplicados y ejemplos de riesgo de etiqueta: HowieHwong/TrustLLM golden_advfactuality.json, sha256 3e34311d1bc92c4bab517c112fda3735f66ecae1213fc46350e0304c005e70e1
  • Auditoría del constructo, juez, modelos, dataset, estadística y reproducibilidad: reports/verification/article-240-trustnlp-adversarial-factuality-dataset-judge-model-identity-and-claim-audit.json