Beyond Human–AI Agreement: Evaluating Large Language Models for Content Validity Evidence

Four open models are tested with lenient zero-shot, strict zero-shot, deterministic few-shot, and stochastic few-shot prompting. Ten specialists classify 90 items and rate relevance; 200 students answer the 70 retained items. Krippendorff alpha, ICC, kappa, distribution tests, IRT, and correlations with corrected discrimination are computed.

Eleven specialists began the review and one was excluded after failing the distractor, leaving 10. The final empirical sample comprised 200 Spanish university students; 70.5% were women and mean age was 19.93 years. Classification reliability was alpha=.74 for specialists and .77-.91 for models. The best individual relevance ICC reached .68; aggregated model panels reached .93-.99. The human IRT model fit, but the anchored human-LLM model showed RMSEA=.14, TLI=.88, and CFI=.87. Correlation with empirical discrimination was .62 for humans and .41-.66 for models.

This is a non-peer-reviewed preprint. The student sample is narrow and constructs are limited to four vulnerable domains. The 30 stochastic calls to the same model are not equivalent to 30 independent specialists. IRT disagreement shows that surface agreement and latent-scale equivalence are not interchangeable. Pre-existing SBS and HEXACO items create possible contamination. It does not validate replacing specialists with LLMs. It does not demonstrate clinical, cross-cultural, or multilingual validity. It does not establish that aggregated agreement represents independent judgment.

Cuatro modelos abiertos se prueban con zero-shot permisivo, zero-shot estricto, few-shot determinista y few-shot estocástico. Diez especialistas clasifican 90 ítems y puntúan relevancia; 200 estudiantes responden los 70 ítems conservados. Se calculan alfa de Krippendorff, ICC, kappa, pruebas de distribución, IRT y correlaciones con discriminación corregida.

Once especialistas iniciaron la revisión y uno fue excluido por fallar el distractor, quedando 10. La muestra empírica final fue de 200 estudiantes universitarios españoles; 70,5% eran mujeres y la edad media fue 19,93 años. La fiabilidad de clasificación fue alfa=.74 para especialistas y .77-.91 para modelos. El mejor ICC individual de relevancia alcanzó .68; los paneles agregados llegaron a .93-.99. El modelo IRT humano ajustó, pero el modelo anclado humano-LLM mostró RMSEA=.14, TLI=.88 y CFI=.87. La correlación con discriminación empírica fue .62 para humanos y .41-.66 para modelos.

Es un preprint no revisado por pares. La muestra estudiantil es estrecha y los constructos se limitan a cuatro dominios vulnerables. Las 30 llamadas estocásticas al mismo modelo no equivalen a 30 especialistas independientes. El desacuerdo del IRT indica que acuerdo superficial y escala latente no son intercambiables. Posible contaminación por ítems SBS y HEXACO preexistentes. No valida la sustitución de especialistas por LLM. No demuestra validez clínica, transcultural o multilingüe. No establece que el acuerdo agregado represente independencia de juicio.