LLMs Generate Structurally Realistic Social Networks but Overestimate Political Homophily

This study asks whether LLMs can construct synthetic friendship networks whose structure resembles real networks and what demographic biases they introduce when selecting ties. It does not study personality. Its “personas” are 50 synthetic demographic profiles containing gender, age, race/ethnicity, religion and political affiliation; they contain no psychological traits, questionnaires, life histories or individual human data. The main sample has 24 Democrats and 26 Republicans and no Independents, so the central political comparison is binary.

The authors compare three zero-shot prompting methods. Global requests the entire network in one response. Local assigns the model one persona at a time and asks it to choose friends without current-network information. Sequential also acts one persona at a time but supplies each candidate's current degree or friend list. All conditions use the same profiles, and the main study generates 30 networks per method at temperature 0.8. The models are GPT-3.5 Turbo, GPT-4o, Llama 3.1 8B and 70B, and Gemma 2 9B and 27B. GPT-3.5 Turbo is reported in the main text because it best matched the structural references.

Structural realism is evaluated against eight small and heterogeneous CASOS/KONECT friendship networks with 31-70 nodes and 63-274 edges. Metrics cover density, average clustering, largest-component proportion, average shortest path, modularity and degree distribution. Global is too sparse and disconnected, has low clustering, excessive modularity and no long degree tail. Local and Sequential overlap the reference distributions more closely, and Sequential better captures the long tail because it receives accumulated network information. The paper reports mean KS distance 0.330 for Sequential versus 0.499 for the best fitted classical comparator, small-world, a 51% larger distance. This is similarity on selected graph metrics, not general social realism or validation of diffusion, contagion or influence dynamics.

Homophily is measured as observed divided by expected cross-group edge proportion; values below 1 mean fewer cross-group ties. For GPT-3.5 Turbo, the political ratios are 0.180 under Local and 0.340 under Sequential, 82% and 66% fewer Democrat-Republican edges than expected under the paper's null. Same-party ratios are 1.851 and 1.685, isolation indices 0.729 and 0.530, and polarization measures 0.639 and 0.515. Political affiliation is the strongest separator for all six models. GPT-4o and Llama 3.1 70B sometimes generate zero cross-party edges and split the graph into two political components.

Political dominance persists after shuffling demographic correlations and in single-/two-variable ablations. In a free-reason condition, politics appears in 86.7% of model-generated friendship reasons, followed by religion at 43.0%, age at 21.8%, race/ethnicity at 12.1% and gender at 7.3%. These are model explanations classified by another LLM, not a validated causal measure of internal attention. Adding generated interests also fails as a correction: because interests are generated from the same demographics, they encode political stereotypes and politics remains dominant.

The claim that LLMs overestimate political homophily needs a central qualification. The eight structural-reference networks have no node demographics, so the paper cannot compare political homophily on those same networks. Instead it compares generated values with published measures from Twitter, voluntary associations, work, neighborhoods, family, trusted contacts and political discussants. These differ in population, period, tie definition and network context. Generated values are more extreme than every cited reference, but this is not a matched replication. The appendix also shows wide cross-study variation in real homophily for other demographics and suggests the LLM may underestimate race/ethnicity and religion homophily.

The repository supports part of the evidence and limits the rest. Commit a841a29 releases 30 Global, Local and Sequential networks for both GPT-3.5 Turbo and GPT-4o, the 50-person sample, real-network data, statistics and a notebook. Recomputing all three GPT-3.5 homophily CSVs from the released graphs produced exact row-level matches, verifying political means 0.180 and 0.340. Structural metrics also match except modularity: Louvain runs without a seed and changes by up to about 0.018-0.027 across runs. Raw Llama/Gemma networks, most ablations, the 1,000-person interest sample and classical-model graphs for Table B1 are absent, so those claims can only be checked against derived statistics.

The public environment does not run as documented. requirements.txt requests Pillow 9.3.0 and 10.4.0 simultaneously and pins numpy 1.23.4 although scipy 1.14.1 requires at least 1.23.5. Analysis imports require api-key.txt even offline. The README's persona command uses an unsupported --save_name flag, and the analysis CLI fails with NameError: SHOW_PLOTS is not defined. There are no tests, CI, lockfile, container, tags or repository license; model names are mutable aliases and execution dates are not reported.

The faithful conclusion is that, under these prompts and a simplified US demographic sample, LLMs can generate locally plausible graphs while exaggerating Democrat-Republican separation; the main GPT-3.5 effect is supported by public artifacts. The study does not establish synthetic personality, human friendship preferences, a representative US network, a causal pretraining source, cross-cultural universality, downstream diffusion effects or full reproducibility of every model and appendix.

Este estudio pregunta si los LLM pueden construir redes de amistad sintéticas con una estructura parecida a redes reales y qué sesgos demográficos introducen al elegir vínculos. No estudia personalidad. Sus “personas” son 50 perfiles demográficos sintéticos con género, edad, raza/etnia, religión y afiliación política; no contienen rasgos psicológicos, cuestionarios, historias de vida ni datos de individuos reales. En la muestra principal hay 24 demócratas y 26 republicanos, sin independientes, por lo que el contraste político central es binario.

Los autores comparan tres formas de prompting sin entrenamiento adicional. Global pide toda la red en una sola respuesta. Local asigna al modelo una persona cada vez y le pide escoger amistades entre los demás perfiles, sin información de la red. Sequential también actúa persona por persona, pero muestra el grado o la lista actual de amigos de cada candidato. Las tres condiciones usan los mismos 50 perfiles. Para el análisis principal se generan 30 redes por método a temperatura 0,8. Se prueban GPT-3.5 Turbo y GPT-4o, Llama 3.1 de 8B y 70B y Gemma 2 de 9B y 27B; el texto principal presenta GPT-3.5 Turbo porque fue el que mejor se aproximó a las referencias estructurales.

La “realidad” estructural se define mediante ocho redes de amistad de CASOS y KONECT, muy distintas entre sí y pequeñas: tienen entre 31 y 70 nodos y entre 63 y 274 aristas. Se comparan densidad, clustering medio, proporción del mayor componente conectado, camino mínimo medio, modularidad y distribución de grado. Global produce redes demasiado poco densas y conectadas, con poco clustering, demasiada modularidad y sin la cola larga de grados. Local y Sequential se solapan mejor con las distribuciones de referencia. Sequential capta mejor la cola larga porque recibe información acumulada de la red. El paper reporta una distancia KS media de 0,330 para Sequential frente a 0,499 para el mejor comparador clásico ajustado, small-world; 0,499 es un 51 % mayor. Este resultado significa semejanza en las métricas seleccionadas, no realismo social general ni validación de dinámicas como difusión, contagio o influencia.

La homofilia se mide como la proporción observada de aristas entre grupos dividida por la esperada según el tamaño de los grupos; valores inferiores a 1 indican menos vínculos cruzados y, por tanto, más homofilia. En GPT-3.5 Turbo, Local obtiene 0,180 para vínculos entre partidos y Sequential 0,340: un 82 % y un 66 % menos de aristas entre demócratas y republicanos de lo esperado bajo ese nulo. Las proporciones de vínculos dentro del mismo partido son 1,851 y 1,685; los índices de aislamiento 0,729 y 0,530; y las medidas de polarización 0,639 y 0,515. La afiliación política resulta el separador más fuerte en los seis modelos. GPT-4o y Llama 3.1 70B llegan en algunas redes a cero aristas entre partidos, dividiendo el grafo en dos componentes políticos.

El dominio político no desaparece al barajar las asociaciones entre variables demográficas ni al presentar variables de una en una o por parejas. En una condición que pide una razón libre para cada amistad, la afiliación política aparece en el 86,7 % de las razones, la religión en el 43,0 %, la edad en el 21,8 %, raza/etnia en el 12,1 % y género en el 7,3 %. Esas razones son explicaciones generadas por el propio modelo y clasificadas con otro LLM, no evidencia causal validada sobre su mecanismo interno. Tampoco funciona como corrección automática añadir intereses: los intereses se generan a partir de los mismos datos demográficos y reproducen estereotipos políticos, por lo que la política sigue siendo el factor dominante.

La afirmación de que los modelos “sobreestiman” homofilia política requiere un matiz central. Las ocho redes usadas para evaluar estructura no incluyen atributos demográficos por nodo, así que no permiten una comparación política directa. El paper contrasta las redes generadas con cifras publicadas en otros trabajos sobre Twitter, asociaciones voluntarias, trabajo, vecindarios, familia, personas de confianza y discusión política. Son poblaciones, épocas, definiciones de vínculo y contextos distintos. Los valores generados son más extremos que todos los referentes citados, pero no proceden de una réplica emparejada sobre las mismas redes. El propio apéndice muestra que la homofilia real de raza/etnia, religión, edad y género varía mucho entre estudios; para algunas variables el LLM puede incluso subestimarla.

La auditoría del repositorio confirma una parte importante y limita otra. En el commit a841a29 se publican las 30 redes Global, Local y Sequential de GPT-3.5 Turbo y GPT-4o, la muestra de 50 personas, datos reales, estadísticas y un notebook. Al recalcular los tres CSV de homofilia de GPT-3.5 Turbo desde las redes liberadas, todas las filas coinciden exactamente; las medias políticas 0,180 y 0,340 quedan verificadas. También coinciden las métricas estructurales salvo modularidad: la función Louvain no fija semilla y produce diferencias de hasta 0,018-0,027 entre ejecuciones. No se publican las redes crudas de Llama/Gemma, la mayoría de ablaciones, la muestra de 1.000 personas usada para prevalencia de intereses ni los grafos clásicos de Table B1, de modo que esas partes sólo pueden contrastarse con estadísticas derivadas.

El entorno público no funciona tal como está documentado. requirements.txt exige a la vez Pillow 9.3.0 y 10.4.0, y fija numpy 1.23.4 aunque scipy 1.14.1 exige al menos 1.23.5. Los módulos de análisis intentan leer api-key.txt al importar incluso para trabajo offline. El comando README para generar personas usa un argumento --save_name que la CLI no acepta, y la CLI de análisis falla en plotting.py con NameError: SHOW_PLOTS is not defined. No hay tests, CI, lockfile, contenedor, tags ni licencia; los nombres de modelo son alias mutables y no se informan fechas de ejecución.

La conclusión fiel es que, en esta muestra demográfica estadounidense simplificada y bajo estos prompts, los LLM generan grafos localmente plausibles pero exageran la separación demócrata-republicano; el efecto principal de GPT-3.5 se sostiene en los artefactos públicos. No demuestra personalidad sintética, preferencias de amistad humanas, una red representativa de Estados Unidos, causalidad del pretraining, generalización cultural, efectos de difusión ni reproducción completa de todos los modelos y anexos.