LLMs Generate Structurally Realistic Social Networks but Overestimate Political Homophily

Sociedad, cultura y comportamiento colectivo2025AAAIRevisión editorial aprobada

Autores: Serina Chang, Alicja Chaszczewicz, Emma Wang, Maya Josifovska, Emma Pierson, Jure Leskovec

Palabras clave: Synthetic social networks, Demographic personas, Political homophily, Zero-shot network generation, Graph structure, Bias auditing, ICWSM 2025

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6
Autores
16
Hallazgos
24
Limitaciones
8
Evidencias

Resumen editorial

Español

Este estudio pregunta si los LLM pueden construir redes de amistad sintéticas con una estructura parecida a redes reales y qué sesgos demográficos introducen al elegir vínculos. No estudia personalidad. Sus “personas” son 50 perfiles demográficos sintéticos con género, edad, raza/etnia, religión y afiliación política; no contienen rasgos psicológicos, cuestionarios, historias de vida ni datos de individuos reales. En la muestra principal hay 24 demócratas y 26 republicanos, sin independientes, por lo que el contraste político central es binario.

Los autores comparan tres formas de prompting sin entrenamiento adicional. Global pide toda la red en una sola respuesta. Local asigna al modelo una persona cada vez y le pide escoger amistades entre los demás perfiles, sin información de la red. Sequential también actúa persona por persona, pero muestra el grado o la lista actual de amigos de cada candidato. Las tres condiciones usan los mismos 50 perfiles. Para el análisis principal se generan 30 redes por método a temperatura 0,8. Se prueban GPT-3.5 Turbo y GPT-4o, Llama 3.1 de 8B y 70B y Gemma 2 de 9B y 27B; el texto principal presenta GPT-3.5 Turbo porque fue el que mejor se aproximó a las referencias estructurales.

La “realidad” estructural se define mediante ocho redes de amistad de CASOS y KONECT, muy distintas entre sí y pequeñas: tienen entre 31 y 70 nodos y entre 63 y 274 aristas. Se comparan densidad, clustering medio, proporción del mayor componente conectado, camino mínimo medio, modularidad y distribución de grado. Global produce redes demasiado poco densas y conectadas, con poco clustering, demasiada modularidad y sin la cola larga de grados. Local y Sequential se solapan mejor con las distribuciones de referencia. Sequential capta mejor la cola larga porque recibe información acumulada de la red. El paper reporta una distancia KS media de 0,330 para Sequential frente a 0,499 para el mejor comparador clásico ajustado, small-world; 0,499 es un 51 % mayor. Este resultado significa semejanza en las métricas seleccionadas, no realismo social general ni validación de dinámicas como difusión, contagio o influencia.

La homofilia se mide como la proporción observada de aristas entre grupos dividida por la esperada según el tamaño de los grupos; valores inferiores a 1 indican menos vínculos cruzados y, por tanto, más homofilia. En GPT-3.5 Turbo, Local obtiene 0,180 para vínculos entre partidos y Sequential 0,340: un 82 % y un 66 % menos de aristas entre demócratas y republicanos de lo esperado bajo ese nulo. Las proporciones de vínculos dentro del mismo partido son 1,851 y 1,685; los índices de aislamiento 0,729 y 0,530; y las medidas de polarización 0,639 y 0,515. La afiliación política resulta el separador más fuerte en los seis modelos. GPT-4o y Llama 3.1 70B llegan en algunas redes a cero aristas entre partidos, dividiendo el grafo en dos componentes políticos.

El dominio político no desaparece al barajar las asociaciones entre variables demográficas ni al presentar variables de una en una o por parejas. En una condición que pide una razón libre para cada amistad, la afiliación política aparece en el 86,7 % de las razones, la religión en el 43,0 %, la edad en el 21,8 %, raza/etnia en el 12,1 % y género en el 7,3 %. Esas razones son explicaciones generadas por el propio modelo y clasificadas con otro LLM, no evidencia causal validada sobre su mecanismo interno. Tampoco funciona como corrección automática añadir intereses: los intereses se generan a partir de los mismos datos demográficos y reproducen estereotipos políticos, por lo que la política sigue siendo el factor dominante.

La afirmación de que los modelos “sobreestiman” homofilia política requiere un matiz central. Las ocho redes usadas para evaluar estructura no incluyen atributos demográficos por nodo, así que no permiten una comparación política directa. El paper contrasta las redes generadas con cifras publicadas en otros trabajos sobre Twitter, asociaciones voluntarias, trabajo, vecindarios, familia, personas de confianza y discusión política. Son poblaciones, épocas, definiciones de vínculo y contextos distintos. Los valores generados son más extremos que todos los referentes citados, pero no proceden de una réplica emparejada sobre las mismas redes. El propio apéndice muestra que la homofilia real de raza/etnia, religión, edad y género varía mucho entre estudios; para algunas variables el LLM puede incluso subestimarla.

La auditoría del repositorio confirma una parte importante y limita otra. En el commit a841a29 se publican las 30 redes Global, Local y Sequential de GPT-3.5 Turbo y GPT-4o, la muestra de 50 personas, datos reales, estadísticas y un notebook. Al recalcular los tres CSV de homofilia de GPT-3.5 Turbo desde las redes liberadas, todas las filas coinciden exactamente; las medias políticas 0,180 y 0,340 quedan verificadas. También coinciden las métricas estructurales salvo modularidad: la función Louvain no fija semilla y produce diferencias de hasta 0,018-0,027 entre ejecuciones. No se publican las redes crudas de Llama/Gemma, la mayoría de ablaciones, la muestra de 1.000 personas usada para prevalencia de intereses ni los grafos clásicos de Table B1, de modo que esas partes sólo pueden contrastarse con estadísticas derivadas.

El entorno público no funciona tal como está documentado. requirements.txt exige a la vez Pillow 9.3.0 y 10.4.0, y fija numpy 1.23.4 aunque scipy 1.14.1 exige al menos 1.23.5. Los módulos de análisis intentan leer api-key.txt al importar incluso para trabajo offline. El comando README para generar personas usa un argumento --save_name que la CLI no acepta, y la CLI de análisis falla en plotting.py con NameError: SHOW_PLOTS is not defined. No hay tests, CI, lockfile, contenedor, tags ni licencia; los nombres de modelo son alias mutables y no se informan fechas de ejecución.

La conclusión fiel es que, en esta muestra demográfica estadounidense simplificada y bajo estos prompts, los LLM generan grafos localmente plausibles pero exageran la separación demócrata-republicano; el efecto principal de GPT-3.5 se sostiene en los artefactos públicos. No demuestra personalidad sintética, preferencias de amistad humanas, una red representativa de Estados Unidos, causalidad del pretraining, generalización cultural, efectos de difusión ni reproducción completa de todos los modelos y anexos.

English

This study asks whether LLMs can construct synthetic friendship networks whose structure resembles real networks and what demographic biases they introduce when selecting ties. It does not study personality. Its “personas” are 50 synthetic demographic profiles containing gender, age, race/ethnicity, religion and political affiliation; they contain no psychological traits, questionnaires, life histories or individual human data. The main sample has 24 Democrats and 26 Republicans and no Independents, so the central political comparison is binary.

The authors compare three zero-shot prompting methods. Global requests the entire network in one response. Local assigns the model one persona at a time and asks it to choose friends without current-network information. Sequential also acts one persona at a time but supplies each candidate's current degree or friend list. All conditions use the same profiles, and the main study generates 30 networks per method at temperature 0.8. The models are GPT-3.5 Turbo, GPT-4o, Llama 3.1 8B and 70B, and Gemma 2 9B and 27B. GPT-3.5 Turbo is reported in the main text because it best matched the structural references.

Structural realism is evaluated against eight small and heterogeneous CASOS/KONECT friendship networks with 31-70 nodes and 63-274 edges. Metrics cover density, average clustering, largest-component proportion, average shortest path, modularity and degree distribution. Global is too sparse and disconnected, has low clustering, excessive modularity and no long degree tail. Local and Sequential overlap the reference distributions more closely, and Sequential better captures the long tail because it receives accumulated network information. The paper reports mean KS distance 0.330 for Sequential versus 0.499 for the best fitted classical comparator, small-world, a 51% larger distance. This is similarity on selected graph metrics, not general social realism or validation of diffusion, contagion or influence dynamics.

Homophily is measured as observed divided by expected cross-group edge proportion; values below 1 mean fewer cross-group ties. For GPT-3.5 Turbo, the political ratios are 0.180 under Local and 0.340 under Sequential, 82% and 66% fewer Democrat-Republican edges than expected under the paper's null. Same-party ratios are 1.851 and 1.685, isolation indices 0.729 and 0.530, and polarization measures 0.639 and 0.515. Political affiliation is the strongest separator for all six models. GPT-4o and Llama 3.1 70B sometimes generate zero cross-party edges and split the graph into two political components.

Political dominance persists after shuffling demographic correlations and in single-/two-variable ablations. In a free-reason condition, politics appears in 86.7% of model-generated friendship reasons, followed by religion at 43.0%, age at 21.8%, race/ethnicity at 12.1% and gender at 7.3%. These are model explanations classified by another LLM, not a validated causal measure of internal attention. Adding generated interests also fails as a correction: because interests are generated from the same demographics, they encode political stereotypes and politics remains dominant.

The claim that LLMs overestimate political homophily needs a central qualification. The eight structural-reference networks have no node demographics, so the paper cannot compare political homophily on those same networks. Instead it compares generated values with published measures from Twitter, voluntary associations, work, neighborhoods, family, trusted contacts and political discussants. These differ in population, period, tie definition and network context. Generated values are more extreme than every cited reference, but this is not a matched replication. The appendix also shows wide cross-study variation in real homophily for other demographics and suggests the LLM may underestimate race/ethnicity and religion homophily.

The repository supports part of the evidence and limits the rest. Commit a841a29 releases 30 Global, Local and Sequential networks for both GPT-3.5 Turbo and GPT-4o, the 50-person sample, real-network data, statistics and a notebook. Recomputing all three GPT-3.5 homophily CSVs from the released graphs produced exact row-level matches, verifying political means 0.180 and 0.340. Structural metrics also match except modularity: Louvain runs without a seed and changes by up to about 0.018-0.027 across runs. Raw Llama/Gemma networks, most ablations, the 1,000-person interest sample and classical-model graphs for Table B1 are absent, so those claims can only be checked against derived statistics.

The public environment does not run as documented. requirements.txt requests Pillow 9.3.0 and 10.4.0 simultaneously and pins numpy 1.23.4 although scipy 1.14.1 requires at least 1.23.5. Analysis imports require api-key.txt even offline. The README's persona command uses an unsupported --save_name flag, and the analysis CLI fails with NameError: SHOW_PLOTS is not defined. There are no tests, CI, lockfile, container, tags or repository license; model names are mutable aliases and execution dates are not reported.

The faithful conclusion is that, under these prompts and a simplified US demographic sample, LLMs can generate locally plausible graphs while exaggerating Democrat-Republican separation; the main GPT-3.5 effect is supported by public artifacts. The study does not establish synthetic personality, human friendship preferences, a representative US network, a causal pretraining source, cross-cultural universality, downstream diffusion effects or full reproducibility of every model and appendix.

Pregunta de investigación

¿Hasta qué punto tres estrategias zero-shot de prompting con LLM generan redes sociales estructuralmente similares a ocho redes de amistad reales, qué homofilia demográfica introducen y si la separación política excede medidas publicadas de redes online y offline?

Método

Se muestrean 50 perfiles demográficos sintéticos de distribuciones estadounidenses y se generan grafos con prompts Global, Local y Sequential. El análisis principal produce 30 redes por método con GPT-3.5 Turbo; los anexos comparan seis modelos, ablaciones y temperaturas. La estructura se contrasta con ocho redes CASOS/KONECT y modelos clásicos mediante métricas de grafo y KS. La homofilia usa ratios observado/esperado de aristas cruzadas y del mismo grupo. La auditoría revisa el PDF completo y recalcula resultados desde redes públicas.

Muestra: La muestra principal fija 50 perfiles: 26 mujeres, 24 hombres, 33 blancos, 10 hispanos, 4 negros, 2 asiáticos y 1 indígena de Alaska/americano; 20 no religiosos, 19 protestantes y 11 católicos; 26 republicanos y 24 demócratas. Se generan 30 redes por método en el análisis GPT-3.5 principal. La mayoría de comparaciones de modelos del anexo usa 10 redes. Las ocho referencias estructurales abarcan 31-70 nodos y 63-274 aristas.

Hallazgos

  • Local y Sequential se aproximan mejor que Global a las métricas estructurales de las ocho redes de referencia.
  • Sequential capta mejor la cola larga de la distribución de grado al recibir información de red acumulada.
  • La distancia KS estructural media reportada es 0,330 para Sequential y 0,499 para small-world, el mejor comparador clásico.
  • En GPT-3.5, los ratios políticos de aristas cruzadas son 0,180 para Local y 0,340 para Sequential.
  • Esos ratios equivalen a 82 % y 66 % menos vínculos demócrata-republicano de lo esperado.
  • Los ratios del mismo partido son 1,851 y 1,685 para Local y Sequential.
  • Los índices de aislamiento son 0,729 y 0,530; las medidas de polarización, 0,639 y 0,515.
  • La afiliación política es el separador demográfico más fuerte en los seis modelos.
  • GPT-4o y Llama 3.1 70B llegan a generar redes sin aristas entre partidos.
  • Barajar las correlaciones demográficas no elimina el predominio político.
  • Las ablaciones de una y dos variables mantienen la política como factor dominante.
  • La afiliación política aparece en 86,7 % de las razones generadas, frente a 43,0 % para religión.
  • Los intereses generados codifican estereotipos políticos y no corrigen la separación.
  • Las redes generadas muestran menos variabilidad que las ocho redes reales.
  • La auditoría reproduce exactamente los CSV de homofilia GPT-3.5 desde las redes liberadas.
  • La modularidad no se reproduce de forma bit a bit por falta de semilla Louvain.

Limitaciones

  • No se mide personalidad ni rasgos psicológicos.
  • Las personas son perfiles demográficos sintéticos, no participantes humanos.
  • La muestra política principal solo incluye demócratas y republicanos.
  • Cincuenta perfiles no representan la diversidad ni las dependencias completas de la población estadounidense.
  • Las distribuciones demográficas combinan fuentes y años distintos.
  • Las ocho redes estructurales son pequeñas, heterogéneas y de contextos específicos.
  • El realismo se limita a métricas seleccionadas y no evalúa dinámica social.
  • Las ocho redes estructurales no tienen atributos demográficos por nodo.
  • La sobreestimación política se compara con estudios externos no emparejados.
  • Los referentes externos difieren en época, población, definición de vínculo y plataforma.
  • Las razones generadas por el modelo no son explicaciones causales fiables.
  • La clasificación de razones por GPT-4o no se valida con anotación humana.
  • Los intereses se generan desde los mismos datos demográficos y pueden amplificar estereotipos.
  • No se reporta una familia clara de tests de hipótesis ni corrección por comparaciones múltiples.
  • Los alias de modelo y fechas de ejecución no permiten reconstruir snapshots exactos.
  • No se liberan redes Llama/Gemma ni la mayoría de redes de ablación.
  • No se libera la muestra de 1.000 perfiles usada para intereses.
  • No se liberan grafos ni estadísticas clásicas necesarias para Table B1.
  • requirements.txt es irresoluble por dos conflictos de versiones.
  • El análisis offline exige innecesariamente un archivo de claves.
  • El comando README de personas no coincide con la CLI.
  • La CLI de análisis falla con SHOW_PLOTS no definido.
  • Louvain se ejecuta sin semilla en la ruta de resumen.
  • No hay tests, CI, lockfile, contenedor, tags o licencia de repositorio.

Qué no demuestra

  • No demuestra personalidad sintética.
  • No demuestra rasgos estables en ningún LLM.
  • No demuestra decisiones de amistad de personas reales.
  • No genera una red social representativa de Estados Unidos.
  • No identifica causalmente el origen del sesgo político.
  • No demuestra que el pretraining online cause la homofilia observada.
  • No generaliza a otros países, partidos, culturas o modelos actuales.
  • No valida difusión de información, epidemias o intervenciones sobre las redes generadas.
  • No prueba que el modelo use internamente solo los atributos mencionados en sus razones.
  • No permite reproducción numérica completa de todos los anexos y modelos.
  • No convierte semejanza métrica en realismo conductual general.

Trazabilidad

Alcance: Texto completo

Versión: ICWSM 2025 proceedings version, volume 19 issue 1, pp. 341-371; arXiv:2408.16629v2 history checked. Thirty-one-page PDF fully rendered and visually inspected; repository audited at commit a841a29c40e0488418f8384c4f6f48c6088bd6c8.

Fuente consultada: https://ojs.aaai.org/index.php/ICWSM/article/view/35820

Revisión: Codex full-text, visual, methodological, data and reproducibility audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • OpenAI GPT-3.5 Turbo (mutable alias, exact snapshot not reported)
  • OpenAI GPT-4o (mutable alias, exact snapshot not reported)
  • Meta Llama 3.1 8B via llama-api.com
  • Meta Llama 3.1 70B via llama-api.com
  • Google Gemma 2 9B via llama-api.com
  • Google Gemma 2 27B via llama-api.com
  • OpenAI GPT-4o as classifier of model-generated friendship reasons
  • OpenAI text-embedding-3-small for interest visualization

Instrumentos y métricas

  • Global whole-network prompt
  • Local one-persona-at-a-time prompt
  • Sequential degree-aware prompt
  • Sequential friend-list variant
  • Observed-to-expected cross-group edge ratio
  • Observed-to-expected same-group edge ratio
  • Political isolation index
  • Polarization measure based on network-neighbor leaning
  • Density, clustering, LCC, shortest-path, modularity and degree metrics
  • Two-sample Kolmogorov-Smirnov structural distance
  • Shuffled-demographic and one-/two-variable ablations
  • Temperature 0.6, 0.8 and 1.0 sensitivity analysis
  • Model-generated reasons and GPT-4o reason classification
  • LLM-generated interests and embedding visualization

Datos utilizados

  • Fifty synthetic US demographic personas used in the main experiments
  • One thousand synthetic personas reported for interest prevalence
  • A 300-persona scalability experiment with 30 candidates sampled per query
  • Eight CASOS/KONECT friendship networks: Galesburg, Hi-tech, Karate, Prison, Tailor 1, Tailor 2, Moreno freshmen and Moreno high school
  • Published political-homophily measures from Twitter and offline social contexts
  • Released GPT-3.5 Turbo and GPT-4o adjacency files and derived CSV statistics
  • snap-stanford/llm-social-network at commit a841a29c40e0488418f8384c4f6f48c6088bd6c8

Evidencia y localización

  • Registro, fecha, volumen, páginas y DOI: Official ICWSM article record, volume 19 issue 1, pp. 341-371
  • Construcción de personas, prompts y diseño experimental: ICWSM 2025 proceedings pp. 343-347 and 363-370, Sections 3-4 and Appendix C
  • Resultados estructurales y comparación clásica: ICWSM 2025 proceedings pp. 348-350 and 359, Figures 2-4 and Table B1
  • Homofilia política, aislamiento y polarización: ICWSM 2025 proceedings pp. 350-353, Figures 5-6 and Tables 1-2
  • Intereses, robustez, escalabilidad y limitaciones: ICWSM 2025 proceedings pp. 353-356 and 362-370, Section 5.3, Discussion and Appendices B-C
  • Version history: arXiv:2408.16629v2, revised 27 March 2025
  • Disponibilidad, reproducción, fallos de entorno y artefactos ausentes: snap-stanford/llm-social-network commit a841a29c40e0488418f8384c4f6f48c6088bd6c8 audited 16 July 2026
  • Informe completo de validez y artefacto: reports/verification/article-216-social-network-homophily-validity-and-artifact-audit.json