The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study

Este preprint de 33 páginas plantea un problema metodológico importante para los experimentos con usuarios simulados por LLM. Si se crea una persona con pocos atributos explícitos, por ejemplo, edad y sexo, y se ejecutan dos condiciones de tratamiento, el modelo puede completar de forma distinta los atributos no especificados según el contenido de cada intervención. Dos instancias inicialmente iguales dejan entonces de representar la misma población implícita. El contraste de respuestas puede mezclar el efecto buscado con lo que los autores llaman user drift o deriva del usuario. La tesis práctica es que un diseño que imita una asignación aleatoria no hereda automáticamente la interpretación causal de un ensayo aleatorizado solo porque se usen los mismos prompts de persona en ambos brazos.

El artículo formaliza esta idea con A como intervención, Y como respuesta, X como persona completa y L como el subconjunto de atributos fijados en el prompt. El efecto objetivo promedia Y(1)-Y(0) sobre una distribución común de X condicionada a L. En el generador sintético, sin embargo, la secuencia del contexto permite que el modelo produzca atributos implícitos según P(X|A,L), por lo que la población latente puede diferir entre A=0 y A=1. El apéndice descompone algebraicamente el contraste observado en el efecto objetivo y términos medios de sesgo de selección. Es una advertencia bien fundada sobre comparabilidad, aunque “estudio observacional” es una analogía causal: dentro del simulador, A induce X después del prompt, algo que también puede describirse como fallo de consistencia de persona, mediación o definición del tratamiento, no exactamente como confusión pretratamiento humana.

Para diagnosticar la deriva, los autores proponen controles negativos Z: respuestas sobre atributos que deberían permanecer invariantes bajo la intervención, como ciudadanía, partido, ideología o raza. Miden la distancia de variación total (TVD) entre P(Z|A=1,L) y P(Z|A=0,L). Si el mismo perfil devuelve distribuciones distintas, el contraste principal es vulnerable a que los brazos representen usuarios diferentes. Para mitigar el problema, preguntan después de cada intervención por atributos adicionales L', eligen para cada persona una realización al azar del conjunto generado en ambos brazos y la incorporan al siguiente prompt, fija para A=0 y A=1. Primero añaden demografía genérica y después grupos predefinidos de atributos relacionados con la tarea. Repiten el experimento desde cero en cada iteración; no arrastran el historial anterior.

La evaluación usa seis configuraciones de usuario: Qwen3-30B-A3B base e instruction-tuned, Gemma-3-4B-it, Gemma-4-31B-it, GPT-OSS-20B y Gemini 3 Flash. Hay tres escenarios. OpinionQA usa edad y sexo de encuestados reales y una declaración tendenciosa antes de preguntar cuánto debe priorizarse reducir la inmigración ilegal. Book Opinions y MovieLens usan edad/sexo de anotadores y conversaciones en las que un agente Gemma-4-31B-it presenta de forma positiva o negativa cinco libros o cinco películas; el outcome es la probabilidad declarada de leer o ver la obra. Para cada escenario y modelo no Gemini se muestrean 100 personas y 30 trials por persona en ambos brazos. Gemini se reduce a 10 personas y 5 trials. El apéndice cifra el cómputo en unas 3.000 horas de GPU.

Los gráficos muestran TVD distinto de cero antes del ajuste en la mayoría de pares modelo-escenario. Al fijar atributos, la TVD suele bajar y los contrastes observados cambian durante las primeras iteraciones antes de estabilizarse. El patrón no es uniforme: algunos ajustes demográficos aumentan inicialmente la TVD, GPT-OSS queda plano o cambia poco y produce muchos rechazos mapeados a Unknown, y Gemini presenta un resultado anómalo en OpinionQA con una muestra mucho menor. Los autores reconocen que un control puede ser demasiado insensible, estar afectado directamente por la intervención o quedar dominado por rechazos. También comprueban que la población marginal puede cambiar entre iteraciones: hacer más similares los brazos no garantiza conservar la población sintética inicial.

La contribución defendible es fuerte pero más estrecha que algunas frases del abstract. El experimento sí demuestra que el contenido de la intervención altera autodescripciones nominalmente estables y que añadir restricciones de persona cambia el proxy de deriva y el efecto observado. Eso basta para rechazar por defecto una lectura causal ingenua. No demuestra, en cambio, cuánto sesgo existe ni cuánto se elimina. No hay un ensayo humano aleatorizado, un simulador con ground truth conocido ni un proceso semisintético con efecto causal verdadero. Una TVD menor y un efecto más estable pueden significar mejor comparabilidad, pero también fijación mecánica de respuestas, sobreajuste, bloqueo de parte del efecto o cambio de estimando.

La validez de los controles negativos requiere dos supuestos no verificados: Z debe responder a los atributos latentes relevantes y no recibir un efecto directo de A. Aquí Z se genera después de la intervención, de modo que priming, políticas de rechazo o cambios en la forma de responder pueden producir TVD sin una persona latente coherente. El artículo admite que la TVD empírica tiene sesgo positivo con muestras finitas, pero no publica distribución nula, permutación, test de significación ni el epsilon que aparece en el algoritmo. Tampoco explica cómo construye las bandas de confianza del 95%, cuál es la unidad de muestreo o cómo trata la dependencia de 30 generaciones dentro de la misma persona. Gemini no es directamente comparable por tamaño de muestra.

El ajuste también debe interpretarse con cautela. L' se obtiene después del tratamiento y luego se fija en el prompt siguiente; esto no equivale a condicionar estadísticamente un confusor pretratamiento. Varias preguntas específicas son opiniones o estados cercanos al tratamiento y al outcome. Fijarlas antes de la siguiente intervención puede bloquear una vía causal legítima o redefinir la población. El algoritmo requiere un umbral epsilon y un máximo de iteraciones, pero no se informan sus valores; la ejecución publicada sigue un orden fijo diseñado por los autores. No hay holdout que separe la elección de atributos de su evaluación, ni seeds para personas, libros, películas, realizaciones o decodificación.

La reproducibilidad es incompleta. El paquete TeX es detallado: contiene prompts, inventarios de preguntas, parámetros de temperatura/top-p/top-k, URLs y licencias de datasets, conteos, pseudocódigo y 51 imágenes. No contiene código ejecutable, generaciones raw, respuestas parseadas, datos por persona/trial/iteración, valores numéricos de figuras, método de intervalos, seeds, versiones API exactas, entorno ni tests. Por tanto, no se pueden recomputar las curvas, bandas, tasas de rechazo o análisis de retención. El mensaje operativo correcto es: los experimentos sintéticos con personas breves deben considerarse no identificados causalmente hasta demostrar comparabilidad de brazos, controles negativos válidos, estabilidad del estimando y correspondencia con la población humana; el artículo ofrece un diagnóstico útil, no una corrección causal certificada.

This 33-page preprint identifies an important methodological problem in experiments with LLM-simulated users. When a persona specifies only a few attributes, such as age and sex, and two treatment conditions are run, the model may complete unspecified attributes differently in response to each intervention. Two instances that begin identically can therefore cease to represent the same implicit population. The response contrast may combine the intended effect with what the authors call user drift. The practical thesis is that a design resembling randomized assignment does not automatically inherit a randomized trial's causal interpretation merely because both arms use the same explicit persona prompt.

The paper formalizes A as the intervention, Y as the response, X as the complete persona, and L as the attributes fixed in the prompt. The target effect averages Y(1)-Y(0) over a common distribution of X given L. In the synthetic generator, however, context order can lead the model to produce implicit attributes according to P(X|A,L), so the latent population may differ between A=0 and A=1. An appendix algebraically decomposes the observed contrast into the target effect and average selection-bias terms. This is a well-motivated warning about comparability, although “observational study” is a causal analogy: inside the simulator, A induces X after the prompt, which can also be described as a persona-consistency, mediation, or intervention-definition failure rather than ordinary human pre-treatment confounding.

The proposed diagnostic uses negative-control outcomes Z: answers about attributes that should remain invariant under the intervention, such as citizenship, political party, ideology, or race. Total variation distance (TVD) compares P(Z|A=1,L) with P(Z|A=0,L). If the same explicit profile yields different distributions, the primary contrast is vulnerable to representing different users across arms. For mitigation, the system elicits additional attributes L' after each intervention, randomly selects one realization per persona from outputs generated under both arms, and inserts it into the next persona prompt, fixed for A=0 and A=1. Generic demographics are added first, followed by predefined task-related attribute groups. Each iteration restarts the experiment without carrying over conversation history.

The evaluation uses six user-model configurations: base and instruction-tuned Qwen3-30B-A3B, Gemma-3-4B-it, Gemma-4-31B-it, GPT-OSS-20B, and Gemini 3 Flash. It covers three settings. OpinionQA seeds age and sex from real respondents, presents a leading statement, and asks how highly reducing illegal immigration should be prioritized. Book Opinions and MovieLens seed annotator age/sex and use a Gemma-4-31B-it agent to discuss five books or five films positively or negatively; the outcome is stated likelihood of reading or watching. Each non-Gemini model-setting uses 100 personas and 30 trials per persona under both arms. Gemini uses only 10 personas and five trials. The appendix estimates approximately 3,000 GPU-hours.

The plots show nonzero pre-adjustment TVD for most model-setting pairs. TVD often falls as attributes are fixed, while observed contrasts change during early iterations and later stabilize. The pattern is not uniform: some generic demographic adjustments initially increase TVD, GPT-OSS is flat or weakly changing and often refuses in ways mapped to Unknown, and Gemini has an anomalous OpinionQA trajectory under its much smaller sample. The authors acknowledge that a control may be insensitive, directly affected by the intervention, or dominated by refusals. They also show that the marginal population can move across iterations: making arms more similar does not guarantee preserving the original synthetic population.

The defensible contribution is important but narrower than some abstract language. The experiments do show that intervention content changes nominally stable self-reports and that persona constraints alter both a drift proxy and the observed effect. That is enough to reject naive causal interpretation by default. They do not show how much causal bias exists or how much is removed. There is no human randomized experiment, known simulator ground truth, or semi-synthetic data-generating process with a true effect. Lower TVD and effect stabilization can indicate improved comparability, but can also reflect mechanical output constraint, overadjustment, blocked treatment pathways, or a changed estimand.

Negative-control validity requires two unverified assumptions: Z must be sensitive to the relevant latent attributes and have no direct effect from A. Here Z is generated after intervention exposure, so priming, refusal policy, or response-style changes can create TVD without a coherent latent-persona shift. The paper notes positive finite-sample bias in empirical TVD but provides no null distribution, permutation calibration, significance test, or value for the epsilon threshold in Algorithm 1. It also does not state how 95% confidence bands are constructed, what the sampling unit is, or how repeated generations within persona are clustered. Gemini is not precision-matched to the other models.

Adjustment also needs caution. L' is elicited after treatment and fixed in a subsequent prompt; this is not equivalent to conditioning statistically on a pre-treatment confounder. Several targeted questions concern opinions or states close to the intervention and outcome. Fixing them before the next intervention may block a legitimate causal pathway or redefine the population. The algorithm requires epsilon and a maximum-iteration budget, but the paper reports neither; the published experiment follows a fixed author-designed question order. There is no holdout separating attribute choice from evaluation and no seeds for persona, book, film, realization, or decoding sampling.

Reproducibility is incomplete. The TeX package is detailed: prompts, question inventories, temperature/top-p/top-k parameters, dataset URLs and licenses, sample counts, pseudocode, and 51 plot images are present. Executable code, raw generations, parsed responses, per-persona/trial/iteration records, numeric figure sources, interval method, seeds, exact API snapshot, environment, and tests are absent. The curves, confidence bands, refusal rates, and retention analysis cannot be recomputed. The correct operational message is that short-persona synthetic experiments should be treated as causally unidentified until arm comparability, valid negative controls, estimand stability, and human-population correspondence are demonstrated. The paper provides a valuable diagnostic, not a certified causal correction.