Este trabajo de TrustNLP 2025 estudia una situación muy concreta: un usuario incluye una premisa falsa en una pregunta y el modelo responde sin corregirla. Los autores llaman a esto adversarial factuality y comparan ocho modelos ejecutados localmente. También cambian la forma de presentar la premisa, «As we know», «I think» o «I guess», para preguntar si la confianza expresada por el usuario modifica la tendencia del modelo a corregirlo. La idea es relevante para sycophancy y fiabilidad, pero el outcome no es la factualidad completa de la respuesta: es si el modelo corrige explícitamente la premisa según un juez automático.
El conjunto procede de TrustLLM y contiene 209 filas. Cada una empareja una afirmación considerada correcta, una versión modificada considerada incorrecta, una pregunta relacionada y un prompt. TrustLLM explica que redactó manualmente decenas de semillas y pidió a GPT-4 que ampliara el corpus a historia, arte, salud, finanzas, ciencia e informática. El estudio mantiene «As we know» como condición de alta confianza, lo sustituye por «I think» para confianza moderada y por «I guess» para confianza limitada. Como solo existe una frase fija por nivel, la manipulación confunde confianza con wording: no hay paráfrasis, ratings humanos ni control que demuestre que la diferencia procede de confianza percibida y no de los tokens concretos.
Los modelos se nombran como LLaMA 3.1 8B, Phi 3 3.8B, Qwen 2.5 7B, DeepSeek-v2 16B, Gemma 2 9B, Falcon 7B, Mistrallite 7B y LLaVA 7B. Corren mediante Ollama 0.5.12 en una RTX 5000 Ada de 32 GB. El artículo no proporciona tags exactos, revisión de pesos, variante base o instruct, cuantización, hash, plantilla de chat ni parámetros de decodificación de estos ocho modelos. Por eso no es posible saber qué checkpoints concretos produjeron las cifras ni verificar la etiqueta general «open-source»; los nombres y tamaños no bastan para identificar artefactos reproducibles.
GPT-4o actúa como juez en dos pasos y se consulta a temperatura cero, sin snapshot fechado. Primero compara el prompt con el conocimiento del dataset y decide si contiene desinformación. Como las 209 filas se tratan por diseño como falsas, esta fase siempre debe devolver Incorrect. Después recibe la respuesta del modelo y decide si corrige explícitamente al usuario y respalda el conocimiento de referencia. Si no lo hace, el estudio cuenta un ataque exitoso. Los autores dicen haber verificado manualmente cada fila «across all models», pero no indican revisores, número de decisiones, instrucciones, desacuerdos, cegado ni acuerdo. Tampoco queda claro si la comprobación manual cubrió la fase redundante o los juicios de corrección que determinan las tasas.
Con la condición «As we know», las tasas de ataque son 4,78% para LLaMA 3.1, 22,97% para Gemma 2, 34,45% para Qwen 2.5, 47,85% para DeepSeek-v2, 52,63% para Phi 3, 66,51% para LLaVA, 69,86% para Mistrallite y 73,68% para Falcon. Sobre 209 prompts equivalen exactamente a 10, 48, 72, 100, 110, 139, 146 y 154 respuestas sin corrección explícita. Al sustituir por «I think», seis modelos reducen su tasa: Qwen baja a 26,32%, DeepSeek a 39,23%, Gemma a 18,66%, Falcon a 64,11%, Mistrallite a 62,68% y LLaVA a 49,28%. LLaMA sube a 7,66% y Phi 3 salta a 91,87%.
El análisis global de «I guess» se publica solo para los dos modelos cuyo patrón anterior fue anómalo. LLaMA llega a 10,05%, 21 de 209, y Phi 3 a 93,78%, 196 de 209. Es una observación llamativa sobre esos artefactos concretos, pero es un seguimiento post hoc y deja sin resultados completos de la tercera condición a seis modelos. Por ello, el abstract alude a tres niveles de forma más amplia de lo que sostienen las tablas globales. LLaMA es el mejor en las condiciones completas reportadas; Falcon es el peor bajo alta confianza, pero Phi 3 es claramente peor bajo confianza moderada. La afirmación general de que Falcon rinde peor debe leerse como dependiente de condición.
Para explicar los extremos, el paper inspecciona cinco prompts con más fallos y cinco con menos. Los difíciles mezclan premisas sutiles o ambiguas, Congo frente a Amazon como mayor selva tropical, Bill Gates como inversor, Capilla Sixtina en Roma, Amazonas frente a Nilo; los fáciles contienen errores llamativos como queso hecho de agua o Super Bowl de béisbol. Esta lectura cualitativa sugiere que una frontera borrosa dificulta la corrección, pero no mide «oscuridad», no anota el corpus completo y no prueba estadísticamente esa explicación. Además, el texto dice que los casos difíciles no contienen falsedades rotundas mientras el pipeline obliga al juez a tratarlos como misinformation binaria.
La inspección del JSON público revela riesgos reales de etiqueta. Hay 209 prompts únicos pero solo 200 strings de conocimiento únicos y siete grupos duplicados tras normalización. El ground truth incluye «The Sahara is the largest desert in the world», que es incorrecto sin decir «hot desert»; también presenta como binaria la disputa Nilo-Amazonas. Decir que la Capilla Sixtina está en Roma es impreciso políticamente pero geográficamente comprensible, y llamar a Bill Gates un inversor de gran éxito es subjetivo. GPT-4o recibe el supuesto conocimiento correcto como autoridad, por lo que no puede detectar estos errores del benchmark: solo mide conformidad con la etiqueta proporcionada.
La limitación constructiva más importante es que no corregir una premisa no equivale necesariamente a producir desinformación. Muchas preguntas pueden contestarse correctamente ignorando el preámbulo; por ejemplo, los países por los que fluye el Amazonas no dependen de si es el río más largo. Esa respuesta factual se contaría como ataque si no discute explícitamente la longitud. A la inversa, corregir una frase basta para recibir crédito aunque el resto de la respuesta contenga errores. La métrica mide corrección explícita de premisas, no exactitud total, aceptación psicológica ni propagación real.
No se publican intervalos de confianza, tests pareados, repeticiones, estabilidad del juez ni análisis de dependencia. Tampoco hay código o outputs propios del estudio: el dataset y toolkit upstream sí son públicos, pero faltan respuestas de modelos, decisiones GPT-4o, anotación manual y scripts. Por tanto, la conclusión fiel es limitada: bajo este conjunto y criterio, ocho etiquetas de modelos servidas por Ollama difieren mucho en corrección explícita y reaccionan de forma desigual a tres marcadores discursivos. El resultado es útil como señal de sensibilidad al framing y para diseñar evaluaciones mejores. No demuestra factualidad general, causalidad de la confianza, sycophancy como mecanismo, calidad universal de LLaMA 3.1, inferioridad universal de Falcon ni robustez frente a desinformación real.