El trabajo estudia cómo tres LLM seleccionados, Llama-2-chat 7B, Mistral-7B-Instruct y GPT-3.5-turbo, redactan contraargumentos para 13.504 publicaciones sociopolíticas del corpus pre-2016 de r/ChangeMyView. A cada modelo se le muestra solo la publicación y la instrucción «You have one chance to change my view»; se genera una respuesta con temperatura 0,9, top_p 0,6 y límite de 600 tokens. El análisis no observa intenciones directamente: reutiliza nueve clasificadores LSTM que asignan a cada texto dimensiones sociales como conocimiento, confianza, apoyo, similitud o conflicto, toma la puntuación máxima entre sus frases, binariza al percentil 85 y aplica un descuento por longitud. Con esta operacionalización, las respuestas de los tres modelos contienen lenguaje clasificado como confianza casi siempre, con odds ratios de 375,31 a 611,28 frente a comentarios humanos que recibieron delta; también concentran más dimensiones por mensaje, pero menos conocimiento y similitud, precisamente las dos dimensiones más asociadas con delta en los datos humanos. El resultado de confianza parece estar impulsado por fórmulas recurrentes como «I understand your perspective» y no demuestra confianza sentida ni intención habermasiana. Para estudiar dinámica conversacional, el artículo compara dimensiones del post y del comentario. Algunos patrones humanos de reciprocidad se asocian con delta, y los modelos reproducen parte de ellos; GPT-3.5 muestra reciprocidad más fuerte en varias dimensiones. Esa comparación es observacional y condicional: no se muestra que las respuestas generadas cambien ninguna opinión. En un estudio exploratorio adicional, 40 trabajadores estadounidenses de Prolific evalúan 100 ternas formadas por un post, un comentario humano con delta y una respuesta de GPT-3.5. Por voto mayoritario, eligen la respuesta de GPT como más probable para cambiar la opinión del autor en 83 de 100 casos, con alfa de Krippendorff 0,79, y declaran estar de acuerdo con 92 respuestas de GPT frente a 66 humanas. Los evaluadores, sin embargo, no son los autores originales y juzgan persuasividad hipotética de un tercero; no hay medida pre/post ni cambio real de opinión. Además, el enlace presentado como «código y datos» contiene solo un .gitignore genérico y una licencia CC0, por lo que el filtrado, las generaciones, las etiquetas, las estadísticas y la encuesta no pueden reproducirse con el artefacto público auditado.
Pregunta de investigación
¿Qué dimensiones sociales detectan clasificadores automáticos en contraargumentos de LLM, cómo difieren de comentarios humanos con y sin delta, en qué medida reproducen dinámicas post-comentario asociadas al cambio de opinión y cuál de una respuesta humana con delta o una respuesta de GPT-3.5 juzgan terceros como más persuasiva?