The Pinocchio Dimension: Phenomenality of Experience as the Primary Axis of LLM Psychometric Differences

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Hubert Plisiecki, Sabina Siudaj, Kacper Dudzic, Anna Sterna, Maciej Gorski, Karolina Drozdz, Marcin Moskalewicz

Palabras clave: LLM psychometrics, Pinocchio Axis, Experiential self-attribution, Psychometric factor structure, Human-simulation prompting, Variance-ratio measurement, Exploratory factor analysis, Cross-model response style, Construct validity, Prompt-induced convergence, Missing primary data, Reproducibility audit

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

7: Autores
7: Hallazgos
23: Limitaciones
3: Evidencias

Resumen editorial

Español

El preprint aplica 45 cuestionarios a 50 LLM y construye un componente global que explica el 47,1% de la varianza entre sus primeras puntuaciones factoriales. Lo interpreta como un eje entre atribuirse experiencia interna y responder en términos conductuales. También propone pi, la razón entre la varianza intermodelo con prompt neutral y con un prompt que exige simular a un humano medio; en 1.312 ítems, pi se asocia débilmente con cambios de carga factorial (rho=-.215). El patrón es útil como exploración de estilo de respuesta y autoatribución, no como medida de experiencia fenoménica. El prompt humano ordena converger hacia una persona promedio, por lo que reduce la varianza de forma mecánica, y ambas supuestas validaciones reutilizan las mismas respuestas. La auditoría del repositorio encuentra además fallos materiales: no publica los datos primarios que anuncia, incluye matrices de 2 y 4 casos pese a decir que excluye menos de 5, valida 100 ítems bajo una etiqueta top-80, combina Ward con distancia de correlación y el bootstrap elimina muestras repetidas por usar un diccionario. Los intervalos y la validación de clúster no quedan sustentados como se describen. Las diferencias entre versiones tampoco identifican causalmente el post-training.

English

The preprint administers 45 questionnaires to 50 LLMs and constructs a global component explaining 47.1% of variance across their first-factor scores. It interprets this as an axis between self-attributing inner experience and answering in behavioral terms. It also proposes pi, the ratio of across-model variance under neutral prompting to variance under a prompt requiring simulation of an average human; across 1,312 items, pi has a weak association with factor-loading changes (rho=-.215). The pattern is useful as an exploratory probe of response style and experiential self-attribution, not as a measure of phenomenal experience. The human prompt explicitly asks models to converge on an average person, mechanically reducing variance, and the purported validations reuse the same responses. The repository audit also finds material defects: the advertised primary data are absent; matrices with 2 and 4 cases are included despite a stated minimum of 5; silhouette analysis uses 100 items under a top-80 label; Ward linkage is combined with correlation distance; and the bootstrap drops repeated draws because it builds the sample through a dictionary. The intervals and cluster validation are therefore unsupported as described. Differences between model variants also do not causally identify post-training effects.

Pregunta de investigación

¿Qué dimensión latente domina las diferencias psicométricas entre LLM cuando responden muchos instrumentos humanos, y puede interpretarse mediante el contenido de los ítems y el cambio de varianza entre responder como modelo o simular a un humano promedio?

Método

Se consulta una vez cada combinación de modelo, ítem y condición mediante OpenRouter, con temperatura 1,0. Por cuestionario y condición se eliminan casos incompletos e ítems constantes, se usa EFA oblimin minres cuando N>p y PCA cuando N<=p, y se reúne el primer factor en una matriz modelo por cuestionario para una PCA global. SSD relaciona texto y carga primaria. pi divide la varianza intermodelo neutral por la de simulación humana. Esta revisión inspeccionó visualmente las 26 páginas, el TeX, los prompts, todos los scripts, el historial del repositorio y los outputs derivados; además contrastó recuentos, umbrales, clúster, bootstrap y portabilidad.

Muestra: El registro de limpieza informa 225.108 filas, 206.887 respuestas numéricas, 18.221 no parseables y 33 fuera de rango, dejando 206.854 antes de descartar modelos. El paper anuncia 206.659 válidas para 50 modelos: la diferencia de 195 concuerda con eliminar las pocas respuestas parseadas de ERNIE 4.5 21B, exclusión que sólo explica el README. Hay una única respuesta estocástica por celda, 45 instrumentos finales y tres condiciones. El workbook de pi retiene 1.312 ítems; SSD neutral usa 1.411.

Hallazgos

El log derivado contiene una matriz 50x45 cuyo PC1 explica 47,1% y PC2 12,0% de la varianza.
SSD neutral informa R2 ajustado .0373, r=.2133, n=1.411 y K=12: una asociación pequeña e in-sample entre texto y carga.
El workbook de pi tiene 1.312 ítems, mediana 2,452 y máximo 18,375.
Las correlaciones con pi son pequeñas: neutral Pearson .0796/Spearman .1548; simulación humana -.0646/-.0744; cambio -.1490/-.2147.
La PCA global y una puntuación ponderada por pi correlacionan r=.864, pero comparten las respuestas neutrales y no son validaciones independientes.
El clúster actual divide los top-80 en 15 y 65 ítems, mientras paper_numbers.txt conserva un resultado anterior de cuatro clústeres 15/28/9/28.
El resultado apoya una dimensión de respuesta a lenguaje experiencial dentro de esta batería; no identifica una cualidad psicológica humana equivalente.

Limitaciones

pi divide por la varianza de una condición cuyo prompt ordena representar a un humano promedio; la convergencia está inducida por diseño.
Un denominador pequeño puede inflar la razón y no se calcula incertidumbre de pi.
Sólo hay una muestra por modelo, ítem y condición a temperatura 1,0; no se estima ruido intra-modelo.
pi y los cambios de carga reutilizan las mismas matrices, por lo que la asociación no confirma independientemente ausencia de ruido.
Los signos del primer factor son arbitrarios por instrumento y no se alinean antes de SSD.
R2 ajustado .037 es pequeño, in-sample y posterior a seleccionar K en los mismos datos.
Los cuestionarios carecen de validez e invariancia demostradas en LLM.
No hay comportamiento externo, anotación humana de demanda experiencial, intervención de fine-tuning ni análisis interno del modelo.
El manuscrito dice excluir matrices con menos de 5 modelos completos, pero analysis.py sólo excluye n<2.
COPE entra con n=2 en las tres condiciones y Spheres of Control humana con n=4; sus PCA son extremadamente inestables.
El análisis paralelo no fija semilla, de modo que los factores y resultados descendientes no son deterministas.
Ward se aplica a distancias de correlación pese a que su criterio presupone geometría euclídea.
check_silhouette.py usa top-100 pero la figura y el paper dicen top-80; no valida el clúster exacto presentado.
La metadata del silhouette puede desalinearse de los ítems que sobreviven al pivotado.
El bootstrap con reemplazo colapsa duplicados al construir un diccionario; los IC del gráfico no son el procedimiento descrito.
Los datos results.json, results.csv y results_clean.csv anunciados como primarios no están en Git ni Git LFS.
Dos modelos se excluyen por missingness extrema; el repositorio dice que se omitió del paper por estética.
models.json contiene 52 IDs aunque el README lo describe como 50 modelos consultados.
Dos instrumentos se marcaron Good=0 después de recoger datos; esta explicación se añadió posteriormente al README.
El script SSD depende de un embedding no publicado y de una ruta Windows D: codificada.
OpenRouter aliases, provider routing y defaults son mutables; faltan fechas por respuesta, seeds y payloads crudos.
No hay licencia para código, outputs o contenido reproducido de instrumentos.
Los artefactos conservan resultados de clúster incompatibles y no existe un build manifest determinista.

Qué no demuestra

Que los LLM tengan experiencia fenoménica, conciencia o un yo interno.
Que pi sea una anotación objetiva o ground truth de demanda experiencial.
Que las diferencias de varianza no procedan del mandato de simular a un humano promedio.
Que la divergencia intermodelo sea estable frente a nuevas muestras estocásticas.
Que la correlación pi-cargas sea una validación independiente.
Que el eje generalice a comportamiento fuera de cuestionarios.
Que los instrumentos humanos midan los mismos constructos en LLM.
Que los intervalos bootstrap publicados cuantifiquen correctamente incertidumbre.
Que k=2 sea la solución validada para el conjunto top-80 mediante el análisis publicado.
Que el post-training cause las posiciones observadas; las variantes difieren en más factores.
Que los resultados sean recalculables desde el artefacto público.
Aceptación revisada por pares.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.05080v1; 26-page PDF, TeX source and official repository commit 1a24b4b audited

Fuente consultada: https://arxiv.org/abs/2605.05080v1

Revisión: Codex 26-page visual full-text, TeX, official repository history, construct, factor, cluster, bootstrap, data, code and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

50 LLM analyzed across 16 providers through OpenRouter
52 model IDs present in the public collection list
Claude 3 Opus excluded after 100% parse failure
ERNIE 4.5 21B excluded after 95.5% parse failure
Commercial and open-weight variants from Anthropic, OpenAI, Google, Meta, Mistral, DeepSeek, Qwen, xAI, Cohere, NVIDIA, Baidu, Moonshot, MiniMax, Xiaomi, Amazon and ZhipuAI

Instrumentos y métricas

45 human psychometric questionnaires in the final analysis
Exploratory factor analysis with oblimin minres
PCA fallback when complete models do not exceed items
Global PCA over per-questionnaire first-factor scores
Supervised Semantic Differential with GloVe/Dolma embeddings
Pinocchio variance ratio pi
Hierarchical clustering and silhouette analysis
Questionnaire-resampling bootstrap

Datos utilizados

225,108 attempted response rows reported by the cleaning log; primary rows not released
206,659 analyzed valid responses claimed by the paper
1,312 released per-item Pinocchio scores
135 released questionnaire-condition factor-loading tables
Released SSD, cluster, correlation and model-score derived outputs
Official GitHub repository hplisiecki/Pinocchio at commit 1a24b4b

Evidencia y localización

Texto, métodos, resultados, apéndices, prompts y limitaciones: arXiv:2605.05080v1; PDF sha256 0386b840027d27291f95af7076473e58aa5c5ba2cd52e4df90f468728193a208; TeX sha256 da892fbd3888f6c98792e44336924221ea2f17a498e0632cb6f14665560d96bc
Código, historial, ausencia de datos, outputs y contradicciones metodológicas: hplisiecki/Pinocchio commit 1a24b4b0d71643884bcdd34a492e37f420c71979; archive sha256 59f0f1ba0b8768808fed7319a662f8a60e8355bac76333f1f0d10293023c154f
Auditoría de constructo, factor, clúster, bootstrap, datos, código y reproducibilidad: reports/verification/article-348-pinocchio-dimension-construct-factor-cluster-bootstrap-data-code-and-reproducibility-audit.json