The Cell, Not the Call: A Preregisterable Audit Protocol for Repeated-Call Inference in Behavioural LLM Experiments

Five-module methodological protocol, Monte Carlo simulation with 2,000 iterations per condition, and a preregistered four-model moral-judgment case. It compares naive call-level analysis, aggregation without dispersion, dispersion-aware estimation, and small-sample correction; it also adds calibration, response taxonomy, stability gates, and hashes.

The simulation uses 40 effective cells. The worked case contains 11,200 trials and 40,871 JSONL records from Claude Opus 4.7, Gemini 3.1 Pro, DeepSeek-V4-Flash, and GPT-5.5. With heterogeneity .3, .6, and .9, naive Type I error was approximately .092, .214, and .333. Dispersion-aware estimators remained near nominal in the simulation. The empirical audit detected ceiling stimuli, parser failures, contaminated controls, and one stability-based exclusion. Aggregating calls into cell counts does not fix error when the variance model remains incorrect.

The simulation is deliberately simple. The case is limited to binary moral judgment and its primary hypothesis is embargoed. Thresholds are not validated for free text, ranking, tools, or dialogue. Empirical ledgers and provider materials are not fully public. Higher-level dependencies among prompts, models, and collection windows remain. It does not demonstrate that a fixed number of calls is sufficient. It does not validate every estimator or endpoint. It does not provide a second independent empirical application.

Protocolo metodológico de cinco módulos, simulación Monte Carlo con 2.000 iteraciones por condición y caso preregistrado de juicio moral con cuatro modelos. Compara análisis ingenuo por llamada, agregación sin dispersión, estimación con dispersión y corrección para muestras pequeñas; añade calibración, taxonomía de respuesta, gates de estabilidad y hashes.

La simulación usa 40 celdas efectivas. El caso trabajado contiene 11.200 ensayos y 40.871 registros JSONL de Claude Opus 4.7, Gemini 3.1 Pro, DeepSeek-V4-Flash y GPT-5.5. Con heterogeneidad .3, .6 y .9, el error tipo I ingenuo fue aproximadamente .092, .214 y .333. Los estimadores con dispersión permanecieron cerca del nivel nominal en la simulación. La auditoría empírica detectó estímulos techo, fallos de parser, controles contaminados y una exclusión por inestabilidad. Agregar llamadas a conteos de celda no corrige el error si el modelo de varianza sigue siendo incorrecto.

La simulación es deliberadamente simple. El caso se limita a juicio moral binario y su hipótesis principal está embargada. Los umbrales no se validan para texto libre, ranking, herramientas o diálogo. Los ledgers empíricos y materiales de proveedor no son plenamente públicos. Persisten dependencias superiores entre prompts, modelos y ventanas de recogida. No demuestra que un número fijo de llamadas sea suficiente. No valida todos los estimadores ni todos los endpoints. No ofrece una segunda aplicación empírica independiente.