Mapping how LLMs debate societal issues when shadowing human personality traits, sociodemographics and social media behavior

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Ali Aghazadeh Ardebili, Massimo Stella

Palabras clave: Cognitive Digital Shadows, Synthetic personas, LLM-generated discourse, Sociodemographic prompting, OCEAN, Textual forma mentis networks, Topic anchoring, Corpus integrity, Pooling dashboard, Reproducibility audit

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
11
Hallazgos
29
Limitaciones
4
Evidencias

Resumen editorial

Español

Este preprint presenta Cognitive Digital Shadows (CDS), un corpus de respuestas de LLM sobre cuatro temas sociales: vacunas y salud, contenido falso en redes, brecha de género en ciencia y amenaza de estereotipo en STEM. Los registros se generan en modo asistente de IA o con una persona sintética construida a partir de edad, género, sexualidad, trabajo, educación, ciudad, migración, religión, uso de redes, rasgos psicológicos y puntuaciones OCEAN. La contribución útil es infraestructural: conserva prompts, selecciones y respuestas, publica redes textuales derivadas y ofrece un notebook de Colab para filtrar perfiles y visualizar redes semánticas y emocionales. La validación mediante textual forma mentis networks sólo pregunta si palabras tomadas del tema del prompt son frecuentes o estructuralmente distintas del resto. El propio artículo delimita correctamente que esto no valida verdad, calidad, realismo de persona ni fidelidad a una población humana. La auditoría integral del commit público encuentra 226.571 JSON válidos, no un subconjunto identificable de 190.000: 133.219 son modo humano y 93.352 modo IA, con los cuatro temas casi equilibrados. Sin embargo, ninguna persona humana contiene los 17 atributos declarados porque `biological_sex` falta en las 133.219. Sólo 128.676 opiniones, 56,79%, cumplen las 250–500 palabras prometidas; 94.836 son más cortas y 3.059 más largas. Además, 2.415 registros GPT-oss usan temperatura 0,0 aunque el texto afirma 0,7 para todas las simulaciones. Los 19 CSV de análisis suman 226.924 nombres: incluyen 560 sin JSON fuente y omiten 207 JSON publicados, de modo que la línea raw-análisis no cierra. Varios directorios mezclan versiones o familias: el de Claude Sonnet 4.5 contiene dos salidas de Claude 3.5; Mistral Small mezcla `mistral-small-latest` y `mistral-large-2512`; y Phi-4-mini-instruct contiene en realidad Phi-4-mini-reasoning. El código liberado tampoco regenera el corpus: fija los dos valores de `ROLE_MODES` a `llm`, omite sexo biológico, escribe `current_marital_status` donde el parser busca `marital_status`, cubre una sola configuración Qwen, no conserva semilla y contradice la descripción del reasoning summary al pedir derivaciones completas paso a paso. Los tests de anclaje producen p muy pequeños con observaciones aplanadas y dependientes; además, significación no implica mayor centralidad, y en el notebook ejecutado de LiquidAI las cuatro medianas de palabras temáticas de los resúmenes son iguales o inferiores al resto. El dashboard es un notebook, no una aplicación alojada: exige Colab, dependencias sin fijar, montar Drive y cargar un parquet mutable de 773 MB. Zenodo preserva sólo el notebook v3 de 76 kB; el repositorio carece de licencia global, tests, CI y entorno bloqueado. CDS sigue siendo un recurso grande para estudiar respuestas condicionadas y diseñar auditorías futuras, pero debe citarse como colección sintética con importantes derivas de esquema y reproducibilidad, nunca como encuesta, población simulada o evidencia de opiniones reales.

English

This preprint introduces Cognitive Digital Shadows (CDS), a corpus of LLM responses on four social topics: vaccines and health, fake social-media content, the gender gap in science and stereotype threat in STEM. Records are generated either in AI-assistant mode or under a synthetic persona built from age, gender, sexuality, work, education, city, migration, religion, social-media use, psychological labels and OCEAN scores. Its useful contribution is infrastructural: it preserves prompts, selections and responses, releases derived textual networks and supplies a Colab notebook for filtering profiles and visualizing semantic and emotional networks. Validation through textual forma mentis networks asks only whether words taken from the prompted topic are frequent or structurally different from other words. The paper correctly states that this does not validate truth, quality, persona realism or faithfulness to any human population. Full audit of the public commit finds 226,571 valid JSON records rather than an identifiable 190,000-record subset: 133,219 are human mode and 93,352 AI mode, with the four topics nearly balanced. However, no human persona contains the stated 17 attributes because biological_sex is absent from all 133,219. Only 128,676 opinions, 56.79%, satisfy the promised 250-500 word range; 94,836 are shorter and 3,059 longer. In addition, 2,415 GPT-oss records use temperature 0.0 although the text says every simulation uses 0.7. The 19 analysis CSVs contain 226,924 names: 560 have no raw JSON and 207 released JSONs are omitted, so raw-to-analysis lineage does not close. Several directories mix versions or families: Claude Sonnet 4.5 contains two Claude 3.5 outputs; Mistral Small combines mistral-small-latest and mistral-large-2512; and Phi-4-mini-instruct actually contains Phi-4-mini-reasoning. Released code also cannot regenerate the corpus: both ROLE_MODES entries are fixed to llm, biological sex is omitted, current_marital_status is written where the parser reads marital_status, only one Qwen configuration is covered, no random seed is preserved, and the reasoning-summary description is contradicted by a prompt requesting full step-by-step derivations. Topic-anchoring tests produce tiny p-values from flattened, dependent observations; significance does not imply higher centrality, and the executed LiquidAI notebook has topic-keyword medians equal to or below other words for all four reasoning-summary tests. The dashboard is a notebook rather than a hosted application: it requires Colab, unpinned dependencies, a mounted Drive and a mutable 773 MB parquet. Zenodo preserves only the 76 kB v3 notebook; the repository has no global license, tests, CI or locked environment. CDS remains a large resource for studying conditioned outputs and designing future audits, but it should be cited as a synthetic collection with material schema and reproducibility drift, never as a survey, population simulator or evidence of real-world group beliefs.

Pregunta de investigación

¿Cómo puede construirse y ponerse a disposición un corpus trazable para comparar el discurso generado por distintos LLM bajo roles de asistente y configuraciones sintéticas de personalidad y sociodemografía en temas sociales sensibles?

Método

Se generan documentos JSON con 19 carpetas nominales de modelos, temperatura prevista de 0,7 y cuatro prompts sociales. Cada ejecución selecciona tema y modo; en modo humano se adjunta una combinación sintética de atributos y OCEAN, y en modo IA no hay persona. El modelo devuelve opinión, reasoning summary, tono y nombres de fuentes. Tras controles estructurales, los textos se convierten con EmoAtlas en textual forma mentis networks. Para cada modelo, tema y capa se aplanan grados de palabras temáticas y del resto y se aplica Kruskal-Wallis; también se examina frecuencia. Un notebook Panel/Colab carga un parquet unificado, filtra por metadatos y dibuja redes, flores emocionales, ego networks y mindset streams. La auditoría leyó visualmente las 18 páginas, inspeccionó TeX, commit, los 226.571 JSON, 19 CSV, código, notebooks, pickles, Zenodo y Drive; recompuso esquema, modos, temas, longitudes, temperaturas, identidades de modelo y linaje de archivos y realizó validación sintáctica del código.

Muestra: El artículo llama al corpus 190.000 registros y dice un mínimo de 10.000 validados por cada uno de 19 modelos. El commit auditado contiene 226.571 JSON: 133.219 en modo humano y 93.352 en modo IA. Los temas seleccionados son vacunas/salud 57.015, brecha de género 56.660, estereotipo STEM 56.496 y contenido falso 56.400. Los archivos abarcan del 6 de octubre de 2025 al 28 de abril de 2026. No hay participantes humanos, muestras poblacionales ni opiniones observadas; cada persona es una combinación aleatoria de atributos del prompt.

Hallazgos

  • Los 226.571 JSON públicos se parsean y conservan opinión y reasoning summary no vacíos.
  • Los cuatro temas están casi equilibrados, entre 56.400 y 57.015 registros.
  • La instantánea pública supera en 36.571 el tamaño de 190.000 descrito y no identifica qué subconjunto corresponde exactamente al manuscrito.
  • Ninguna de las 133.219 personas humanas tiene los 17 campos: biological_sex falta en todas.
  • El 56,79% de las opiniones respeta 250–500 palabras; 41,86% queda por debajo y 1,35% por encima.
  • 2.415 registros GPT-oss informan temperatura 0,0 y los otros 224.156, 0,7.
  • Los CSV procesados incluyen 560 file_name sin JSON fuente y omiten 207 JSON publicados.
  • Algunas carpetas mezclan identificadores o familias de modelos, por lo que carpeta no equivale siempre a checkpoint inmutable.
  • Los resultados TFMN permiten comprobar presencia y organización de vocabulario temático, pero no realismo, factualidad o semejanza humana.
  • El notebook de LiquidAI muestra p<0,001 en ocho tests aunque las cuatro medianas temáticas de reasoning summary son iguales o inferiores al resto, ilustrando que significación no implica la dirección esperada.
  • El notebook de pooling archivado en Zenodo coincide byte a byte con la versión v3 del repositorio.

Limitaciones

  • El trabajo es un Data Descriptor y no estima efectos de los atributos sobre postura, sesgo, tono, exactitud o seguridad.
  • No hay comparación con personas reales, encuestas, entrevistas o conducta observada.
  • El propio corpus no es representativo de Italia, Estados Unidos ni otra población.
  • Combinar sexualidad, religión, migración, salud psicológica y otros atributos puede inducir estereotipos del entrenamiento.
  • El número público de JSON es 226.571 y no existe un manifest de release que delimite los 190.000 del texto.
  • Biological sex falta en todas las personas raw pese a la exigencia de 17 atributos completos.
  • Casi 43,21% de opiniones viola el intervalo de longitud declarado.
  • La temperatura no es uniforme: 2.415 registros están a 0,0.
  • No se publican intentos fallidos ni manifest de generación, por lo que no se verifican tasas de descarte 0–15,3%.
  • La tabla raw-CSV no cierra: 560 filas no tienen fuente pública y 207 fuentes no entran en CSV.
  • La carpeta Claude mezcla Claude 3.5 y 4.5; Mistral Small incluye Mistral Large; Phi-mini está mal etiquetada.
  • Alias latest, falta de digest y ausencia de fingerprint impiden fijar varios modelos.
  • El generador liberado desactiva modo humano al usar dos veces llm en ROLE_MODES.
  • La clase Persona pública omite biological_sex y sólo ofrece man/woman, sin reproducir el esquema o los datos históricos.
  • current_marital_status del generador no coincide con marital_status leído por el parser.
  • Sólo se libera un miner Qwen y no las variantes exactas usadas para 19 modelos y proveedores.
  • No se conserva semilla o estado RNG por registro.
  • Las distribuciones categóricas no son uniformes: religión y orientación sexual se ponderan por repetición y hay más dependencias que las dos descritas.
  • Supplementary Table S1, citada para probabilidades, no está en la fuente arXiv o repositorio.
  • El prompt solicita derivaciones completas paso a paso, incompatible con presentarlo sin matiz como resumen conciso o razonamiento interno.
  • La validación de respuesta exige sólo cuatro campos y no hace cumplir longitud, tono, citas, persona completa o igualdad con la selección.
  • Los tests aplanan grados dependientes de palabras y redes, generando p-valores demasiado precisos.
  • No hay ajuste por las hasta 152 comparaciones modelo-tema-capa.
  • Los keywords provienen del propio prompt; frecuencia alta es en gran parte obediencia léxica esperable.
  • El dashboard requiere Colab, instalaciones sin fijar, Drive montado, ruta manual y cargar un parquet de 773 MB.
  • Zenodo archiva el notebook, no el parquet unificado ni el corpus completo.
  • No hay LICENSE global, requirements, lockfile, tests, CI, tag de release o regresiones numéricas.
  • Los notebooks contienen rutas Windows y Google Drive del equipo autoral.
  • Los pickles deben abrirse sólo desde una fuente confiable por el riesgo inherente a su deserialización.

Qué no demuestra

  • Que CDS represente creencias, actitudes o opiniones de personas reales.
  • Que una persona sintética sea un gemelo digital, individuo persistente o agente autónomo.
  • Que los atributos del prompt causen diferencias en discurso.
  • Que los grupos sintéticos reproduzcan distribuciones o relaciones de una población.
  • Que las puntuaciones OCEAN generadas correspondan a una personalidad psicométricamente válida.
  • Que una salida atribuida a edad, género, religión o sexualidad sea típica del grupo humano nombrado.
  • Que el reasoning summary revele razonamiento interno, cognición o intención del modelo.
  • Que las citas nombradas por los modelos sean correctas o respalden las afirmaciones.
  • Que anclaje temático implique verdad, coherencia, calidad, neutralidad, seguridad o ausencia de sesgo.
  • Que un p-valor significativo demuestre mayor centralidad de las palabras temáticas.
  • Que las 19 carpetas sean 19 checkpoints homogéneos e inmutables.
  • Que el código público permita regenerar el corpus o reproducir exactamente tasas de descarte y selección.
  • Que el dashboard sea un servicio alojado listo para usar sin preparación técnica.
  • Que CDS pueda sustituir encuestas, entrevistas, experimentos o medidas conductuales humanas.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.27624v1; repository commit e39570e8cd8d188b2dd019fc3aa138e81770ffb9; Zenodo 10.5281/zenodo.19816544

Fuente consultada: https://arxiv.org/abs/2604.27624

Revisión: Codex 18-page visual full-text, TeX, 226,571-JSON census, CSV lineage, model-identity, prompt, TFMN, code, Zenodo, Drive dashboard and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Claude Sonnet folder, mixing Claude 3.5 latest and Claude Sonnet 4.5 identifiers
  • DeepSeek-R1-0528-Qwen3-8B
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek V3.2 through deepseek-chat
  • ERNIE-4.5-21B-A3B
  • ERNIE-4.5-21B-A3B-Thinking identifiers
  • GPT-oss-20b identifiers
  • Google Gemma 4 e4b and e4b-it identifiers
  • IBM Granite 4 H Tiny
  • LiquidAI LFM2 1.2B
  • Llama 2 7B Chat
  • Llama 3.3 70B aliases
  • Magistral Small 2509
  • Mistral Small latest mixed with Mistral Large 2512
  • Microsoft Phi-4-mini-reasoning in a folder labelled Phi-4-mini-instruct
  • Microsoft Phi-4-reasoning-plus
  • Qwen3 30B A3B 2507
  • Qwen3 4B Instruct 2507 identifiers
  • Qwen3 4B Thinking 2507

Instrumentos y métricas

  • Four fixed societal-topic prompts
  • Synthetic persona randomization pool
  • Seventeen-attribute claimed persona schema
  • OCEAN scores from 0 to 100 with low, moderate and high buckets
  • JSON structured-output prompt and parser
  • 250-500 word requested opinion
  • Generated reasoning summary, tone and named citations
  • EmoAtlas textual forma mentis networks
  • Vertex degree and occurrence frequency
  • Kruskal-Wallis topic-keyword comparisons
  • Panel and ipywidgets Colab pooling interface
  • Emotional flower, semantic network, ego network and mindset stream visualizations

Datos utilizados

  • 226,571 released raw JSON records across 19 model directories
  • 133,219 human-mode records with 16 complete persona fields and missing biological_sex
  • 93,352 AI-assistant-mode records with null selected persona
  • Nineteen processed Data_visualization CSV files with 226,924 rows
  • TFMN edge-list parquet chunks
  • 152 topic-layer hypothesis-testing pickle slots plus generated plots
  • TFMN and EmoAtlas aggregate statistics
  • Zenodo-archived TFMN_Pooling_from_CDS_v3.ipynb
  • Mutable Google Drive unified edge-list parquet and v5 notebook

Evidencia y localización

  • Texto completo, diseño, esquema, validación, dashboard, límites y disponibilidad: arXiv:2604.27624v1; PDF sha256 4269a50973b038e21fd49677f3c1932055dd3341ab741637cec96e03bdd65dfe
  • Código, 226.571 JSON, CSV, redes, pickles, notebooks y figuras: GitHub NaviDATA-Repos/PENSO_Data_WP-ConvinceMe_FIS2_UniTrento commit e39570e8cd8d188b2dd019fc3aa138e81770ffb9; tree 549360e699132439e98fe44f683b4e7f0051775b
  • Snapshot estable del notebook de pooling v3: Zenodo 10.5281/zenodo.19816544; sha256 fe5481db43d79654017b42910d744bc3745fa3419e221f65002057141e807a53
  • Auditoría de esquema, corpus, identidades de modelo, anclaje, dashboard y reproducibilidad: reports/verification/article-355-cognitive-digital-shadows-corpus-schema-model-identity-topic-validation-dashboard-and-reproducibility-audit.json