When Do LLMs Generate Realistic Social Networks? A Multi-Dimensional Study of Culture, Language, Scale, and Method

El trabajo pregunta hasta qué punto una red de amistad generada por un LLM depende del encuadre cultural, el idioma del prompt, el tamaño del modelo y la arquitectura de generación. Usa una única lista de 50 personas sintéticas muestreada a partir de marginales demográficos de EE. UU., con género, edad, raza o etnia, religión, afiliación política e intereses sintetizados por GPT-4o. Compara gpt-4.1-nano, gpt-4.1-mini y gpt-4.1 a temperatura 0,8 bajo cuatro métodos: global propone toda la red en una llamada; sequential procesa personas una a una con contexto de grado; local hace nominaciones persona por persona; e iterative realiza tres rondas de añadir y quitar amistades. El diseño reúne 24 redes culturales sequential, 72 redes culturales global/local/iterative y 96 redes de idioma con los cuatro métodos, dos ejecuciones por condición: 192 ficheros.

Los resultados descriptivos sí muestran sensibilidad al prompt. Los agregados cambian al variar la frase de cultura, el idioma, el método y la variante GPT-4.1. Entre los cinco atributos incluidos en los prompts y CSV centrales, la afiliación política suele tener el mayor cociente observado/esperado en sequential, local e iterative; global suele elevar edad. Las tablas muestran además un orden estable de desacuerdo: full-mini es menor que mini-nano y este menor que full-nano. En algunas condiciones Hindi aumenta el cociente de homofilia religiosa y la conectividad del componente mayor varía. Sobre los 192 artefactos, la densidad media recalculada es 0,150 y la proporción media del componente mayor 0,699. Por método, las densidades son aproximadamente 0,059 global, 0,179 local, 0,178 sequential y 0,182 iterative; las proporciones del componente mayor son 0,635, 0,770, 0,810 y 0,582. Son observaciones descriptivas sobre respuestas del modelo, no estimaciones de redes humanas.

La implementación no corresponde a varias definiciones centrales. El paper llama dirigidas a las 192 redes y formaliza nominaciones dirigidas, pero generate_networks.py crea nx.Graph y los runners las cargan como no dirigidas. Appendix B dice que local usa un vecindario aleatorio fijo k=12; el código muestra a cada persona los otros 49 perfiles. El n5 del nombre es mean_choices=5, la media de una exponencial para el número de amistades solicitado, no el tamaño del vecindario. El apéndice dice que iterative se inicializa desde sequential; el código construye primero una red local. Las familias probabilísticas descritas y los artefactos medidos no son el mismo experimento.

Los intereses requieren una corrección clara. Los tres runners fijan include_interests=false y DEFAULT_DEMOS omite interests, de modo que el modelo no ve los intereses al formar estas redes. Una figura, cuyo script fue después borrado, calcula post hoc similitud Jaccard entre los intereses del roster y la presenta como homofilia. Como esos intereses fueron generados condicionados por otros atributos, el cociente puede reflejar correlación, confusión o azar; no demuestra que los intereses conduzcan la elección. Tampoco es la igualdad categórica formalizada. Que global alcance 2,111 describe una asociación post hoc sobre aristas generadas sin ese campo.

La auditoría confirma que existen exactamente las 192 rutas esperadas y todas contienen 50 IDs numéricos válidos, con 22 a 268 aristas. Pero no son 192 grafos válidos bajo la definición del paper: 16 redes contienen 23 autoenlaces. El parser solo comprueba que el ID exista y acepta source=target. Los CSV marcan 192/192 porque solo comprueban existencia de adjlist, PNG y estadísticas, legibilidad, 50 nodos y edge_count mayor que cero; no comprueban dirección, autoenlaces, condición o consistencia matemática. Los autoenlaces pueden sesgar densidad, clustering y homofilia.

La distancia de aristas tiene un bug directo. Los grafos son nx.Graph, pero compute_edge_distance divide el desacuerdo por n(n-1), el universo dirigido. Para un grafo simple no dirigido el denominador correcto es n(n-1)/2. Recalculando los pares, la media del repositorio es 0,1136 y la correcta 0,2272: todos los valores quedan exactamente a la mitad. El ranking puede mantenerse, pero intervalos como 0,09-0,10 y 0,19-0,24 no expresan la proporción definida. Además, Louvain no fija seed, Python random.shuffle no se siembra en iterative y Chat Completions no recibe seed ni snapshot fechado. Las dos seeds son semillas de orden, no réplicas deterministas del proveedor.

La conclusión principal sobre realismo no está respaldada por Figure 3. Su script histórico, borrado antes del commit final aunque el PNG quedó, usa ocho redes reales del CSV, no 36, y una sola red sequential GPT-4.1-mini, no una muestra LLM. Genera 50 ER, 50 BA y 50 WS, mientras el texto dice 30 seeds. Fija N_REAL=36 como supuesto promedio, aunque los ocho grafos tienen 36, 67, 31, 31, 70, 34, 39 y 39 nodos: media 43,375. Los CSV real y LLM usan Louvain, pero los baselines usan greedy modularity. Solo ER queda calibrado directamente a densidad; BA y WS aparecen en 0,16-0,17 frente a 0,20 real, y WS usa p=0,3 fijo.

Las propias barras contradicen la superioridad declarada. ER iguala la densidad real alrededor de 0,20 mejor que la única red LLM, 0,15. WS coincide con modularidad real alrededor de 0,38, mientras LLM está en 0,50, pese a que el caption dice que todos los clásicos quedan por debajo. Los tres clásicos tienen componente mayor cercano a 1,00 frente a 0,99 real, mientras LLM queda en 0,48. En clustering, LLM 0,61 está a 0,16 del real 0,45; BA y WS 0,28 están a 0,17, una diferencia mínima. Average shortest path ni aparece en la figura aunque se incluye en la frase de superioridad. La comparación muestra clustering y modularidad altos en un grafo seleccionado; no demuestra mayor realismo que los baselines. Clustering y modularidad en un grafo sin signos tampoco prueban structural balance de Cartwright-Harary.

El alcance estadístico es limitado: dos ejecuciones por celda, ningún test o modelo de interacciones, factores cruzados presentados como one-variable-at-a-time y muchas comparaciones descriptivas. Reutilizar el roster estadounidense preserva control interno de prompt, pero India, Japón y Brasil son etiquetas sobre personas estadounidenses, no poblaciones nacionales. No hay red ground truth ni identificación reproducible de los benchmarks reales. Explicaciones como que Hindi eleva religión por la organización social del corpus son hipótesis, no mecanismos medidos.

El repositorio es valioso porque libera roster, 192 adjlists, estadísticas, gráficos y orquestadores; 362 CSV con 98.448 filas, dos JSON y 204 PNG se abren, y el Python compila. No ofrece reproducción exacta: requirements.txt exige Pillow 9.3.0 y 10.4.0 a la vez; no hay lock, tests, CI o contenedor; no se guardan respuestas crudas ni prompts por llamada; y las figuras finales dependen de scripts borrados recuperables solo desde Git. La rama include_reason de iterative usa además una variable reason no definida. En conjunto, el paper aporta evidencia útil de sensibilidad a decisiones de prompt, pero sus redes no son las dirigidas formalizadas, sus magnitudes de distancia son erróneas y su afirmación de realismo contradice la evidencia liberada.

The paper asks how strongly an LLM-generated friendship network depends on cultural framing, prompt language, model size, and generation architecture. It uses one fixed roster of 50 synthetic people sampled from U.S. demographic marginals, with gender, age, race or ethnicity, religion, political affiliation, and GPT-4o-synthesised interests. It compares gpt-4.1-nano, gpt-4.1-mini, and gpt-4.1 at temperature 0.8 under four methods: global proposes the whole network in one call; sequential processes people one by one with degree context; local makes person-level nominations; and iterative performs three add/drop rounds. The design contains 24 sequential culture networks, 72 global/local/iterative culture networks, and 96 language networks across all four methods, with two runs per condition: 192 files.

The descriptive results do show prompt sensitivity. Aggregates change when culture wording, language, method, and GPT-4.1 variant change. Among the five attributes included in core prompts and CSVs, political affiliation is often the largest observed-to-expected same-group ratio for sequential, local, and iterative generation, while global often elevates age. Tables also show a stable disagreement ordering: full-mini is lower than mini-nano, which is lower than full-nano. Some Hindi conditions have elevated religion ratios, and largest-component connectivity varies. Across the 192 released artifacts, recomputed mean density is 0.150 and mean largest-component share is 0.699. By method, densities are approximately 0.059 global, 0.179 local, 0.178 sequential, and 0.182 iterative; largest-component shares are 0.635, 0.770, 0.810, and 0.582. These are descriptive observations about model outputs, not estimates of human networks.

The implementation does not match several central definitions. The paper calls all 192 networks directed and formalizes directed nominations, but generate_networks.py constructs nx.Graph objects and the runners load them as undirected. Appendix B says local uses a fixed random neighborhood of k=12; current code presents all other 49 profiles. The n5 filename component is mean_choices=5, the mean of an exponential draw for requested friends, not neighborhood size. The appendix says iterative starts from sequential output; the code first constructs a local graph. The formal conditional families and measured artifacts are not the same experiment.

Interests need a clear correction. All three runners set include_interests=false and DEFAULT_DEMOS omits interests, so the model never sees interests while forming these networks. A plotting script later deleted from the checkout computes post-hoc Jaccard similarity between roster interests and labels it homophily. Because interests were synthesised conditional on other attributes, the ratio can reflect correlation, confounding, or chance; it does not show that interests drove friendship selection. It is also not the formal categorical equality metric. The 2.111 global value is a post-hoc association on edges generated without that field.

Artifact inspection confirms all 192 expected paths exist and each contains 50 valid numeric IDs, with 22 to 268 edges. They are not 192 valid graphs under the paper's definition: 16 networks contain 23 self-loops. The parser only checks that an ID exists and accepts source=target. Verification reports 192/192 because they check adjacency-list, PNG, and statistic presence, readability, 50 nodes, and edge_count greater than zero; they do not check direction, self-loops, condition provenance, or mathematical consistency. Self-loops can bias density, clustering, and homophily.

Edge distance has a direct bug. Graphs are nx.Graph, but compute_edge_distance divides disagreement by n(n-1), the directed universe. For a simple undirected graph the denominator is n(n-1)/2. Recomputing released pairs gives repository mean 0.1136 and correct mean 0.2272: every value is exactly halved. Rankings may survive, but intervals such as 0.09-0.10 and 0.19-0.24 do not express the defined proportion. Louvain also has no seed, Python random.shuffle is unseeded in iterative generation, and Chat Completions receives neither a seed nor a dated model snapshot. The two seeds are ordering seeds, not deterministic provider replicates.

The headline realism conclusion is not supported by Figure 3. Its historical script, deleted before the final commit although the PNG remains, uses eight real CSV graphs rather than 36 and one sequential GPT-4.1-mini graph rather than an LLM sample. It generates 50 ER, 50 BA, and 50 WS graphs while the text says 30 seeds. It hard-codes N_REAL=36 as an assumed mean although the eight graphs have 36, 67, 31, 31, 70, 34, 39, and 39 nodes, mean 43.375. Real and LLM CSVs use Louvain, whereas baselines use greedy modularity. Only ER is directly density-matched; BA and WS are around 0.16-0.17 versus real 0.20, and WS uses fixed p=0.3.

The bars themselves contradict declared superiority. ER matches real density near 0.20 better than the single LLM graph at 0.15. WS matches real modularity near 0.38 while LLM is 0.50, despite the caption saying all classical models fall short. All three classical graphs have largest-component share near 1.00 against real 0.99, whereas LLM is 0.48. For clustering, LLM 0.61 is 0.16 away from real 0.45; BA and WS 0.28 are 0.17 away, only marginally different. Average shortest path is absent from the figure despite inclusion in the superiority sentence. This shows high clustering and modularity in one selected LLM graph; it does not establish greater realism. High metrics in an unsigned graph also do not demonstrate Cartwright-Harary structural balance.

Statistical scope is narrow: two runs per cell, no hypothesis test or interaction model, crossed factors described as one-variable-at-a-time, and many descriptive comparisons. Reusing one U.S. roster preserves prompt control, but India, Japan, and Brazil are framing labels applied to U.S. personas, not national populations. There is no ground-truth friendship network and no reproducible mapping from the real benchmark CSV to named sources. Cultural explanations such as Hindi elevating religion because of corpus organization are hypotheses, not measured mechanisms.

The repository remains useful because it releases the roster, 192 adjacency lists, statistics, images, and orchestration code; 362 CSVs with 98,448 rows, two JSONs, and 204 PNGs all open, and Python compiles. It is not an exact reproduction package: requirements.txt requires Pillow 9.3.0 and 10.4.0 simultaneously; there is no lock, test suite, CI, or container; raw completions and per-call prompts are not stored; and final figures depend on deleted scripts recoverable only from Git history. The iterative include_reason branch also references an undefined reason variable. Overall, the paper provides useful evidence of sensitivity to prompt choices, but its released graphs are not the directed objects it formalizes, its distance magnitudes are wrong, and its realism claim contradicts the released evidence.