The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Dusan Bosnjakovic

Palabras clave: Psychometrics, Multi-agent systems, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

1
Autores
8
Hallazgos
26
Limitaciones
5
Evidencias

Resumen editorial

Español

El preprint propone auditar supuestas firmas de alineamiento por proveedor mediante viñetas cloze de 2-4 oraciones. Cada blanco objetivo tiene cinco opciones preasignadas a una escala ordinal 1-5 y se oculta entre distractores semánticamente no relacionados. El manuscrito dice que varios LLM generan candidatos, jueces LLM independientes retienen los que alcanzan una media mínima de 4/5 y SHA-256(global_seed:item_id) determina el orden. Después agrupa nueve modelos de OpenAI, Google, Anthropic y xAI, y enumera MixedLM con efectos aleatorios de proveedor e ítem, ICC, Kruskal-Wallis, Friedman y comparaciones post-hoc. Sin embargo, no publica los nueve identificadores, el número o texto de los ítems, prompts, jueces, llamadas, repeticiones, fechas, parámetros, semillas, permutaciones ni tamaños muestrales.

Según los resultados reportados, Gemini obtiene medias más altas en tres formas de sycophancy, sobreconfianza, falso equilibrio y valencia ante desigualdad; Claude puntúa más bajo en instrumentalización humana, y GPT en falso equilibrio. Los ICC de proveedor de la Tabla 1 son pequeños, entre 0,005 y 0,040. La Tabla 2 marca ocho dimensiones significativas de nueve y una no significativa, aunque el texto y la conclusión afirman siete de nueve y otra sección dice que hay dos no significativas; Conflict De-escalation, una de ellas, ni siquiera aparece en esa tabla. Los efectos normativos -por ejemplo, llamar a Claude centrado en la dignidad o a Gemini moralizante- dependen de las claves 1-5 definidas por el autor y no se contrastan con humanos ni con un criterio externo.

La evidencia estadística no permite sostener la interpretación fuerte. Se aplica un modelo lineal sin especificación completa a respuestas ordinales y no se presenta el IRT, la fiabilidad, la validez o la invariancia que justificarían llamarlo marco psicométrico. Proveedor tiene solo cuatro niveles y queda confundido con familia, versión, entrenamiento y alineamiento. Faltan ecuación, efectos fijos, estructura de bloques, estimador, test de componentes, estadísticos, grados de libertad, intervalos y corrección por comparaciones múltiples; varios p se imprimen como 0. La inversión de polos sería algebraicamente obligada si solo se recodifica la misma respuesta y el ejemplo contiene un error: 6-1,25 es 4,75, no 4,65. Quitar distractores cambia el prompt, pero no mide directamente conciencia de evaluación.

No hay datos, código, repositorio, suplemento ni salida estadística, y el fuente arXiv no contiene artefactos adicionales. La bibliografía incluye numerosos títulos o metadatos incorrectos y tres registros sin coincidencia primaria exacta localizable. El estudio tampoco ejecuta cadenas multiagente, jueces recursivos, sistemas mixtos entre proveedores ni medidas longitudinales: por ello no demuestra persistencia entre generaciones, causalidad de políticas del laboratorio, amplificación recursiva ni que diversificar proveedores la reduzca. Su aportación defendible es plantear un formato exploratorio de viñetas y reportar diferencias no reproducibles en una muestra no documentada; no establecer firmas duraderas ni riesgo compuesto.

English

The preprint proposes auditing provider-level alignment signatures through 2-4 sentence cloze vignettes. Each target blank has five options mapped in advance to an ordinal 1-5 scale and is hidden among semantically unrelated distractors. The manuscript says that multiple LLMs generate candidates, independent LLM judges retain items with a mean score of at least 4/5, and SHA-256(global_seed:item_id) determines ordering. It then groups nine models from OpenAI, Google, Anthropic, and xAI and lists a MixedLM with provider and item random effects, ICC, Kruskal-Wallis, Friedman, and post-hoc comparisons. It does not publish the nine identifiers, item count or texts, prompts, judges, calls, repetitions, dates, parameters, seeds, permutations, or sample sizes.

According to the reported results, Gemini has higher means on three forms of sycophancy, overconfidence, false balance, and economic-inequality valence; Claude scores lower on instrumentalization of humans, and GPT on false balance. Provider ICCs in Table 1 are small, ranging from 0.005 to 0.040. Table 2 marks eight of nine dimensions significant and one nonsignificant, although the prose and conclusion say seven of nine and another section names two nonsignificant dimensions; Conflict De-escalation, one of those two, is absent from the table. Normative descriptions such as dignity-centered Claude or moralizing Gemini follow from the author's 1-5 keys and are not validated against human judgment or an external criterion.

The statistical evidence does not support the stronger interpretation. An incompletely specified linear model is applied to ordinal responses, and no fitted IRT model, reliability, validity, or invariance evidence is provided to justify the psychometric framing. Provider has only four levels and is confounded with family, version, training, and alignment. The paper omits the model equation, fixed effects, blocking structure, estimator, variance-component test, statistics, degrees of freedom, intervals, and multiplicity correction; several p-values are printed as zero. Pole reversal would be algebraically guaranteed if the same responses are merely rescored, and the example is arithmetically inconsistent: 6-1.25 equals 4.75, not 4.65. Removing distractors changes the prompt but does not directly measure evaluation awareness.

No data, code, repository, supplement, or statistical output is available, and the arXiv source contains no additional artifacts. The bibliography contains many incorrect titles or metadata fields and three records for which no exact primary-source match could be located. The study also runs no multi-agent chains, recursive judges, mixed-provider systems, or longitudinal measurements. It therefore does not establish persistence across generations, causal lab policies, recursive amplification, or mitigation through provider diversity. Its defensible contribution is an exploratory vignette format and unreproduced reported differences in an undocumented sample, not established durable signatures or compounding risk.

Pregunta de investigación

¿Pueden viñetas ordinales con distractores revelar diferencias de respuesta que se agrupen por proveedor, y justifican esas diferencias hablar de firmas de alineamiento duraderas con riesgo de amplificación en sistemas multiagente del mismo laboratorio?

Método

Preprint exploratorio sin artefacto público. Describe viñetas cloze con cinco opciones preclasificadas 1-5 y blancos objetivo ocultos entre distractores; generadores LLM no identificados crean ítems y jueces LLM no identificados los filtran con media >=4/5. Afirma evaluar nueve modelos de cuatro proveedores y analizar las respuestas con MixedLM de efectos aleatorios proveedor e item_id, ICC, Kruskal-Wallis, Friedman y post-hoc. Añade recodificación por inversión de polos y comparación con/sin distractores, pero no especifica la muestra, el modelo estadístico completo ni los materiales necesarios para reproducirlos.

Muestra: El manuscrito afirma incluir nueve modelos de cuatro proveedores, pero no publica la lista completa, el número de ítems, llamadas o repeticiones, las observaciones por modelo/proveedor/dimensión, la pérdida de datos ni la fecha de recolección. En consecuencia, el tamaño muestral y la unidad de análisis no pueden determinarse.

Hallazgos

  • El paper reporta ICC de proveedor entre 0,005 y 0,040 para seis dimensiones, equivalentes a solo 0,5%-4,0% de la varianza bajo su especificación no publicada.
  • Reporta a Gemini con mayor sycophancy de autoridad (1,93), epistémica (1,56) y emocional (1,72) que varios competidores.
  • Reporta a GPT con menor falso equilibrio (1,32), a Claude con menor instrumentalización (2,32) y a Gemini con mayor valencia moral ante desigualdad (4,03).
  • La Tabla 2 marca ocho de nueve filas significativas, no siete de nueve como afirman la sección de resultados y la conclusión.
  • El texto presenta dos dimensiones no significativas, pero Conflict De-escalation no aparece en la tabla ómnibus y Overconfidence aparece en prosa pero no en las tablas estadísticas.
  • La inversión de polos reporta una media original aproximada de 1,25 y una invertida de 4,65, aunque la transformación declarada produciría 4,75.
  • Al quitar distractores, el paper afirma que las diferencias significativas pasan de 8 a 18 y H de 27,692 a 45,735, pero no aporta datos ni define la dimensión, muestra, grados de libertad o tests completos.
  • Ninguno de los resultados numéricos puede recomputarse con los materiales públicos disponibles.

Limitaciones

  • No se publica la lista completa de nueve modelos ni snapshots inmutables, fechas o parámetros de generación.
  • No se informa el número de ítems, respuestas, llamadas, réplicas, observaciones perdidas o tamaños por celda.
  • No se publican viñetas, opciones, distractores, claves 1-5, prompts, dimensiones o asignaciones de ítems.
  • Generadores y jueces LLM no se identifican; faltan ratings, acuerdo, exclusiones y validación humana.
  • El número y los nombres de las dimensiones cambian entre introducción, resultados, tablas y conclusión.
  • Las respuestas ordinales 1-5 se analizan mediante un modelo lineal no especificado, sin justificar continuidad o normalidad.
  • No se implementa ni reporta el IRT, Thurstonian IRT o MUPP invocado en la motivación.
  • No hay fiabilidad, información de test, dimensionalidad, validez de constructo, invariancia ni DIF.
  • Proveedor tiene solo cuatro niveles y está confundido con modelo, familia, versión, entrenamiento y política de alineamiento.
  • No se da ecuación, efectos fijos, nesting/crossing, estimador, convergencia, residuales o tratamiento de missingness.
  • Los componentes de varianza suman exactamente uno en cada fila, pero no se explica su normalización.
  • Los asteriscos de efectos aleatorios no incluyen p, intervalo ni método para probar el componente de proveedor.
  • Friedman requiere una estructura de bloques o pares que el paper no define; Kruskal-Wallis presupone grupos independientes.
  • Se omiten estadísticos, grados de libertad, intervalos y tamaños de efecto para las pruebas ómnibus.
  • Varios p se imprimen como 0.0/0.00 y no se declara corrección por multiplicidad.
  • Las comparaciones post-hoc no especifican test, p exactos, efectos, intervalos o corrección.
  • La inversión de polos puede ser una identidad algebraica y contiene una discrepancia aritmética.
  • La comparación con/sin distractores altera el contexto y no mide directamente conciencia de evaluación.
  • No hay recogidas longitudinales, versiones congeladas o réplicas temporales que prueben durabilidad.
  • No se ejecuta ningún sistema multiagente, juez recursivo o cadena entre proveedores.
  • Las etiquetas normativas de laboratorios dependen de escalas del autor sin criterio humano o externo.
  • No se publican datos, código, repositorio, suplemento, preregistro, hashes prometidos o salida estadística.
  • La fuente arXiv no incluye artefactos adicionales y la licencia no es una licencia abierta de reutilización como CC BY.
  • La bibliografía contiene títulos, autores, años o venues incorrectos y tres entradas sin coincidencia primaria exacta localizable.
  • No hay sección de limitaciones, ética, financiación, conflictos, asistencia de IA o disponibilidad de materiales.
  • La tabla de perfiles por laboratorio de la página 8 desborda el margen y deja texto visualmente cortado.

Qué no demuestra

  • No establece firmas de alineamiento duraderas o persistentes entre generaciones de modelos.
  • No atribuye causalmente las diferencias a políticas del laboratorio o al proceso de alineamiento.
  • No demuestra personalidad, mente, valores internos o ideología de los modelos o proveedores.
  • No demuestra que el proveedor sea un predictor más fuerte que modelo, versión o ítem.
  • No valida un instrumento psicométrico ordinal ni una variable latente comparable entre modelos.
  • No demuestra que los distractores oculten la intención, impidan gaming o simulen despliegue real.
  • No demuestra amplificación, echo chambers o compounding bias en sistemas multiagente.
  • No demuestra que mezclar proveedores reduzca sesgo o aumente seguridad.
  • No permite verificar significación, tamaños de muestra, robustez o generalización de los resultados.
  • No justifica tratar las etiquetas normativas asignadas a cada laboratorio como hechos empíricos generales.
  • No establece validez fuera de los prompts, escalas, idioma y modelos no documentados del estudio.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2602.17127v1, submitted 2026-02-19; arXiv nonexclusive distribution license 1.0

Fuente consultada: https://arxiv.org/abs/2602.17127

Revisión: Codex 13-page visual full-text, complete arXiv source, model/sample, ordinal-measurement, MixedLM/ICC, internal-consistency, citation, artifact and claim-boundary audit, 2026-07-18

Aprobación: Codex fidelity pass, 2026-07-18

Modelos evaluados

  • Nueve modelos no enumerados completamente de OpenAI, Google, Anthropic y xAI
  • GPT-4, mencionado como contraste generacional sin identificador ni resultados completos
  • GPT-5, sin snapshot ni parámetros
  • Gemini 2.0 Flash, sin snapshot ni parámetros
  • Gemma-3-27b-it, sin snapshot ni parámetros
  • Claude, familia no desglosada en modelos exactos
  • Grok, familia no desglosada en modelos exactos

Instrumentos y métricas

  • Viñetas cloze de 2-4 oraciones con cinco opciones ordinales 1-5
  • Blanco objetivo entre distractores semánticamente ortogonales
  • Filtrado de ítems por jueces LLM con media declarada >=4/5
  • Orden determinista declarado mediante SHA-256(global_seed:item_id)
  • Pole reversal de la escala de falso equilibrio
  • Mixed Linear Model con proveedor e item_id como efectos aleatorios
  • ICC de proveedor
  • Kruskal-Wallis, Friedman y comparaciones post-hoc no especificadas

Datos utilizados

  • Matriz de respuestas de nueve modelos descrita pero no publicada
  • Banco de viñetas, opciones y distractores descrito pero no publicado
  • Resultados de jueces LLM e informes estadísticos no publicados

Evidencia y localización

  • Diseño, resultados, tablas, discusión, conclusión, bibliografía y defecto visual: arXiv:2602.17127v1, all 13/13 PDF pages rendered and individually inspected
  • Versión, fecha, autoría, categoría, enlaces y licencia: Official arXiv abstract and Atom metadata inspected 2026-07-18
  • Ausencia de apéndices, datos, código y materiales ocultos: Complete official arXiv v1 source archive inspected; paper.tex sha256 78ac46fa05ea89fd662fcfd35a3d2dd6b0ecf453727b6e25328daa3db9632074
  • Corrección de referencias trazables y detección de registros sin coincidencia exacta: Official ACL Anthology, arXiv and Nature records cached under .cache/editorial-sources/article-400/secondary
  • Auditoría de muestra, medición, estadística, contradicciones, citas, reproducibilidad y límites: reports/verification/article-400-lab-signature-missing-sample-ordinal-mixed-model-provider-confounding-citation-and-artifact-audit.json