Quantifying Data Contamination in Psychometric Evaluations of LLMs

The paper proposes measuring alleged contamination in LLM psychometric evaluation through three task families: semantic or keyword reconstruction of inventory items, recovery of item-to-dimension and option-scoring knowledge, and response adjustment to match a target score. It evaluates 21 models on the BFI-44, PVQ-40, MFQ, and Short Dark Triad at temperature 0.7, with three runs and 95% confidence intervals. Reported overall averages are 0.31 for semantic reconstruction, 0.39 for keyword recovery, 0.94 F1 for item–dimension association, 0.44 MAE for option-score recovery, and 0.45 MAE for target matching; some advanced models reach approximately 0.1–0.2 target MAE. BFI and PVQ generally yield stronger results than MFQ and SD-3. These tasks, however, expose item text, dimensions, response options, or targets, so semantic inference and reasoning can solve them without training-set exposure. The paper’s own generic dimension-description baseline scores 0.32 on semantic reconstruction, slightly above the 0.31 mean interpreted as memorization. The design provides no training-corpus access, canaries, matched newly written inventories, or causal link between task scores and bias in downstream evaluations. It therefore supplies a useful diagnostic of instrument familiarity and functional scoring knowledge, but does not by itself identify contamination or prove memorization. The official repository contains runnable code and 19 tests that pass in a clean environment, but it does not commit the paper’s result outputs, and full reproduction depends on live, mutable model APIs.

El trabajo propone medir una supuesta contaminación de evaluaciones psicométricas de LLM mediante tres familias de tareas: reconstrucción semántica o de palabras en ítems, recuperación de la relación entre ítems y dimensiones o puntuaciones, y ajuste de respuestas para alcanzar una puntuación objetivo. Evalúa 21 modelos con BFI-44, PVQ-40, MFQ y Short Dark Triad, a temperatura 0,7, tres ejecuciones y intervalos de confianza del 95 %. Los promedios globales son 0,31 en reconstrucción semántica, 0,39 en palabras clave, F1 0,94 para asociar ítem y dimensión, MAE 0,44 al recuperar puntuaciones de opciones y MAE 0,45 al igualar objetivos; algunos modelos avanzados alcanzan MAE cercanos a 0,1–0,2. BFI y PVQ muestran resultados mayores que MFQ y SD-3. Sin embargo, las tareas revelan el texto, las dimensiones, las opciones o el objetivo, y por tanto pueden resolverse mediante inferencia semántica y razonamiento sin que el inventario estuviera en los datos de entrenamiento. La propia línea base de descripción genérica de dimensiones logra 0,32 en reconstrucción semántica, ligeramente por encima del promedio que el artículo interpreta como memorización. No hay acceso a corpus de entrenamiento, canarios, inventarios nuevos emparejados ni un diseño causal que conecte estas puntuaciones con sesgo en evaluaciones posteriores. El estudio ofrece un diagnóstico útil de familiaridad y conocimiento funcional de instrumentos, pero no identifica por sí solo contaminación ni demuestra memorización. El repositorio oficial contiene código y 19 pruebas que pasan en un entorno limpio, aunque no incluye las salidas del artículo y la reproducción integral depende de APIs y modelos mutables.