Cognitive Alignment Deciphered: A Self-Developed Scenario-Based Prompt Scale Coupled with Representational Similarity Analysis and Social Network Analysis for Unraveling Bias Mechanisms Across Humans and LLMs

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Chengrui Zhou

Palabras clave: Psychometrics, Role-playing agents, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

1
Autores
7
Hallazgos
14
Limitaciones
8
Evidencias

Resumen editorial

Español

Este preprint propone CBAS, una escala de escenarios para comparar sesgos cognitivos en personas y LLM, y combina similitud representacional (RSA) con análisis de redes (SNA). El texto describe 58 sesgos agrupados en Cálculo, Creencia, Información, Social y Memoria, operacionalizados mediante 72 ítems. Afirma que más de 230 sesgos iniciales fueron revisados y que diez expertos participaron en la selección, pero no publica ningún ítem, opción de respuesta, clave, regla de puntuación, asignación a dimensiones ni versión lingüística. Una muestra de 330 personas de 18–71 años se usa para psicometría y otra de 110 adultos jóvenes y mayores para comparar con ERNIE 3.5 8K, DeepSeek V3 y DeepSeek R1. Los modelos reciben temperatura 0,9, top-p 1,0 y máximo 2.000 tokens. Se reporta alfa global 0,714 y CFA con χ²/df=1,83, RMSEA=0,057, CFI=0,908 y TLI=0,903. Las asociaciones con CRT, DMC y DOI se resumen solo como p<0,05; un clustering RNN alcanza un supuesto acuerdo de 89% con las dimensiones. En la comparación, la variabilidad humana se cifra en SD=16,68 y la de los modelos en 4,95–9,78, sin definir la medida ni las repeticiones. La conectividad media publicada es 0,107 en jóvenes, 0,150 en mayores, 0,055 en ERNIE, 0,036 en DeepSeek V3 y 0,097 en R1. El paper interpreta que jóvenes tienen núcleo de Cálculo, mayores de Social y los modelos núcleos fijos con Información aislada. Dos prompts, rol de científico cognitivo y rol más mitigación explícita, buscan modificar el comportamiento. DeepSeek V3 pasa de 48,65% a 78,24% de accuracy y R1 de 70,43% a 84,86%, según el texto; no se informa ERNIE. Estas cifras no validan todavía CBAS ni una arquitectura cognitiva. Hay una contradicción de versión material: el método dice 72 ítems, pero los ejes de las matrices visibles llegan a Q92/Q93, incluyen grupos como Q90_Q91_Q92 y campos average/unnamed. Las figuras no corresponden de forma demostrable al instrumento descrito. El alfa global tampoco valida cinco subescalas: no se publican alfas por dimensión, omega ni test-retest; para 72 ítems, alfa 0,714 implica una correlación interítem media aproximada de 0,0335. EFA, CFA, IRT, MDS, análisis factorial genético y RNN se enumeran sin cargas, eigenvalues, parámetros, estimador, tratamiento ordinal, residuos, resultados completos ni split de muestras. No se sabe si EFA y CFA reutilizan las mismas 330 personas. All p<0,05 no permite evaluar validez de criterio sin tamaños, direcciones o corrección múltiple, y el 89% RNN carece de target, baseline y validación held-out. La comparación de edad tampoco da cortes, N por grupo, reclutamiento, demografía o ajustes: es transversal y no demuestra adaptación dentro de una persona. El problema central de RSA es de identificabilidad. El método afirma construir para cada participante y modelo una matriz ítem×ítem mediante correlaciones de Pearson entre respuestas. Una respuesta escalar por ítem no basta para correlacionar pares de ítems; hace falta definir observaciones repetidas o vectores de características. No se aclara si las celdas usan participantes, runs, tokens, embeddings u otra dimensión. Para los modelos tampoco se informa número de ejecuciones o semillas pese a temperatura 0,9. Aunque el cálculo fuese correcto, correlacionar outputs conductuales describe similitud de respuesta, no representaciones internas, activaciones o arquitectura. SNA tiene el mismo problema: las correlaciones entre cinco dimensiones de un único modelo requieren una unidad repetida que no se define. Solo se tabulan conectividad y etiquetas cualitativas, no centralidad, densidad e integración anunciadas. El apéndice RSA omite ERNIE; tampoco muestra matrices o redes postintervención. Además, la tabla etiqueta Información como aislada en ERNIE, pero su propia red dibuja varios enlaces no nulos con ese nodo. La accuracy de intervención no tiene respuesta normativa, scorer, denominador, parsing ni resultado separado para rol versus rol+mitigación. Llamar significant al cambio no está respaldado por t, df, p, efecto o intervalo; y el método usa t independiente para un diseño pre/post sobre los mismos modelos e ítems, que es emparejado. La afirmación de reorganización estructural posterior carece de números y figuras. En reproducibilidad y ética, no se publican CBAS, datos, código, prompts completos, outputs o análisis. Los 440 participantes, el cribado de historia cognitiva/neurológica y sus respuestas aparecen sin comité ético, consentimiento, privacidad, compensación o reclutamiento. Tampoco se documenta equivalencia lingüística entre población y modelos chinos. Varias referencias están mal citadas o no se verifican tal como aparecen, incluidas las usadas para justificar RSA en LLM. La contribución útil es la propuesta de evaluar sesgos mediante escenarios y no solo accuracy abstracta; los valores deben leerse como resultados exploratorios comunicados por la autora, no como validación de una escala replicable ni evidencia de mecanismos cognitivos internos.

English

This preprint proposes CBAS, a scenario scale for comparing cognitive bias in people and LLMs, and combines representational similarity analysis (RSA) with social network analysis (SNA). It describes 58 biases grouped into Calculation, Belief, Information, Social, and Memory and operationalized through 72 items. More than 230 initial biases were reportedly reviewed and ten experts helped select them, but no item, response option, key, scoring rule, dimension mapping, or language version is published. A sample of 330 people aged 18-71 is used for psychometrics and a second sample of 110 younger and older adults is compared with ERNIE 3.5 8K, DeepSeek V3, and DeepSeek R1. Model parameters are temperature .9, top-p 1.0, and 2,000 maximum tokens. The paper reports overall alpha .714 and CFA fit of chi-square/df=1.83, RMSEA=.057, CFI=.908, and TLI=.903. Relations with CRT, DMC, and DOI are reduced to p<.05, while an RNN clustering procedure is said to agree 89% with the dimensions. In the comparison, human variability is reported as SD=16.68 versus 4.95-9.78 for models, without defining the measure or repetitions. Average connectivity is .107 for younger adults, .150 for older adults, .055 for ERNIE, .036 for DeepSeek V3, and .097 for R1. The paper interprets younger adults as Calculation-centered, older adults as Social-centered, and models as having fixed cores with isolated Information. Two prompts, a cognitive-scientist role and that role plus explicit mitigation, aim to change behavior. DeepSeek V3 reportedly rises from 48.65% to 78.24% accuracy and R1 from 70.43% to 84.86%; no ERNIE result is given. These numbers do not yet validate CBAS or a cognitive architecture. There is a material version conflict: Methods says 72 items, but visible matrix axes reach Q92/Q93 and include groups such as Q90_Q91_Q92 plus average/unnamed fields. The figures are not demonstrably based on the described instrument. Overall alpha also does not validate five subscales: no dimension alphas, omega, or test-retest estimate is provided; with 72 items, alpha .714 implies an average inter-item correlation of approximately .0335. EFA, CFA, IRT, MDS, genetic factor analysis, and RNN methods are listed without loadings, eigenvalues, parameters, estimator, ordinal treatment, residuals, complete results, or sample splitting. It is unknown whether EFA and CFA reuse the same 330 people. All p<.05 cannot establish criterion validity without effect sizes, directions, or multiplicity control, and the RNN's 89% lacks a target, baseline, and held-out validation. Age comparisons provide no cutoffs, group Ns, recruitment, demographics, or adjustment; they are cross-sectional and do not show within-person adaptation. The central RSA problem is identification. Methods says an item-by-item matrix is built for each participant and model through Pearson correlations among responses. One scalar response per item is insufficient to correlate item pairs; repeated observations or feature vectors must be defined. The paper does not say whether cells use participants, runs, tokens, embeddings, or another dimension. Model run counts and seeds are also absent despite temperature .9. Even if computed correctly, behavioral-output correlations describe response similarity, not hidden representations, activations, or architecture. SNA has the same issue: correlations among five dimensions for one model require a repeated sampling unit that is not defined. Only connectivity and qualitative labels are tabulated, not the announced centrality, density, and integration metrics. The RSA appendix omits ERNIE and provides no post-intervention matrix or network. Table 2 calls Information isolated in ERNIE, but its own graph draws several nonzero Information links. Intervention accuracy has no normative answer, scorer, denominator, parsing rule, or separate role-only versus role-plus-mitigation result. Calling the gain significant is unsupported by t, df, p, effect size, or interval; Methods also specifies an independent t test for a pre/post design on the same models and items, which is paired. Claimed post-intervention structural reorganization has no numerical or visual evidence. For reproducibility and ethics, CBAS, data, code, full prompts, outputs, and analyses are absent. The 440 participants, health-history screening, and responses are reported without an ethics board, consent, privacy procedure, compensation, or recruitment description. Linguistic equivalence between the human population and Chinese models is undocumented. Several references are mis-cited or unverifiable as written, including citations used to motivate LLM RSA. The useful contribution is the proposal to evaluate bias through scenarios rather than abstract accuracy alone; all numbers should be read as exploratory author-reported results, not validation of a replicable scale or evidence of internal cognitive mechanisms.

Pregunta de investigación

¿Puede una escala contextual de 58 sesgos y 72 ítems comparar la estructura de respuestas de jóvenes, mayores y tres LLM chinos, y pueden prompts de rol y mitigación acercar los patrones de los modelos a los humanos?

Método

CBAS se desarrolla desde más de 230 sesgos y revisión de diez expertos. N=330 se usa para EFA/CFA y otras pruebas psicométricas; otra muestra N=110 se compara con ERNIE 3.5 8K, DeepSeek V3 y R1. RSA correlaciona respuestas por ítem y SNA correlaciona cinco dimensiones. Dos intervenciones de prompt se contrastan con accuracy, un t independiente, RSA y SNA.

Muestra: La validación declara 330 adultos de 18 a 71 años. Una nueva muestra de 110 personas se divide entre jóvenes y mayores, sin cortes de edad ni N por grupo. No se informan país, idioma, reclutamiento, género, educación, exclusiones o missingness. En modelos no se declara número de runs, por lo que la base muestral de RSA, SNA, SD y tests no está definida.

Hallazgos

  • Se reporta alfa global 0,714 y CFA χ²/df 1,83, RMSEA 0,057, CFI 0,908 y TLI 0,903, sin cargas, estimator, subescalas o validación cruzada.
  • Las correlaciones con CRT/DMC/DOI se reducen a p<0,05 y el 89% del RNN no define target, split ni baseline.
  • La variabilidad declarada es SD 16,68 en humanos y 4,95–9,78 en modelos, pero la métrica, unidad y número de runs son desconocidos.
  • La conectividad media publicada es 0,107 jóvenes, 0,150 mayores, 0,055 ERNIE, 0,036 V3 y 0,097 R1; no se aportan intervalos o tests.
  • V3 pasa de 48,65% a 78,24% y R1 de 70,43% a 84,86% de una accuracy no definida; faltan denominador, clave y separación de las dos intervenciones.
  • El esquema de 72 ítems contradice matrices con identificadores hasta Q92/Q93; la versión analizada no se reconcilia con la descrita.
  • La figura de ERNIE muestra enlaces de Información no nulos pese a la etiqueta isolated, y el apéndice RSA omite ERNIE y todo postintervención.

Limitaciones

  • No se publican los 72 escenarios, respuestas, clave, scoring, dimensión, idioma o instrucciones; no puede auditarse el instrumento.
  • Hay deriva 58 sesgos/72 ítems/IDs hasta Q93 y campos extra en figuras, sin explicación de versión o transformación.
  • El alfa general de una escala multidimensional no valida subescalas; EFA/CFA/IRT y métodos ML carecen de reporting mínimo.
  • Validez de criterio se afirma solo por p<0,05, sin r, dirección ni multiplicidad; no hay invariancia entre edad, humanos y modelos.
  • No se definen cortes ni tamaños de los dos grupos de edad ni se controlan cohortes, educación u otros confusores.
  • La correlación ítem×ítem por participante/modelo es dimensionalmente ambigua y no se declaran observaciones repetidas o features.
  • Outputs conductuales no son representaciones internas; las conclusiones de arquitectura, encoding y mecanismo son sobreinterpretaciones.
  • Con temperatura 0,9 faltan runs y semillas; modelos individuales no equivalen a muestras humanas independientes.
  • SNA no identifica su unidad de correlación y omite centralidad, densidad, integración, thresholds y tests anunciados.
  • Accuracy no define respuesta correcta, scorer o denominador; no separa dos condiciones y usa un t independiente en un pre/post emparejado.
  • No hay evidencia numérica o visual postintervención, resultado ERNIE ni análisis completo de incertidumbre.
  • Faltan ética, consentimiento, privacidad, reclutamiento y compensación para 440 participantes y cribado de salud.
  • CBAS, datos, código, prompts, outputs y análisis no están disponibles; el endpoint source de arXiv solo devuelve el PDF.
  • Varias referencias presentan títulos, años o revistas incorrectos y una cita clave de Nature Communications no fue verificable.

Qué no demuestra

  • No establece que CBAS sea una escala validada, fiable por dimensión, ecológicamente válida o equivalente para humanos y LLM.
  • No demuestra que las figuras correspondan al instrumento final de 72 ítems ni permite resolver los IDs Q92/Q93.
  • No identifica representaciones internas, arquitectura cognitiva, razonamiento humano-like o fixed priors a partir de correlaciones de outputs.
  • No demuestra menor variabilidad intrínseca de LLM sin runs, semillas, métrica y unidad común.
  • No demuestra cambios adaptativos por edad; compara grupos transversales no descritos.
  • No prueba mejoras estadísticamente significativas ni atribuye el cambio al rol o a la mitigación por separado.
  • No demuestra reorganización RSA/SNA postintervención sin matrices, redes o estadísticas posteriores.
  • No permite reproducir resultados, auditar respuestas correctas ni evaluar ética y privacidad con los artefactos públicos.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.22775v1 preprint

Fuente consultada: https://arxiv.org/pdf/2604.22775v1

Revisión: Codex 10-page visual full-text, embedded-figure schema, psychometric, RSA/SNA identifiability, intervention-statistics, human-subjects, citation, artifact and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Baidu ERNIE 3.5 8K
  • DeepSeek V3
  • DeepSeek R1
  • Unspecified RNN used for semantic clustering

Instrumentos y métricas

  • Unreleased 72-item Cognitive Bias Assessment Scale (CBAS)
  • 58 bias types in Calculation, Belief, Information, Social and Memory
  • Cognitive Reflection Test
  • Decision-Making Competence
  • Decision Outcome Inventory
  • Cronbach alpha, parallel analysis, EFA, CFA and IRT
  • MDS, genetic factor analysis and RNN semantic clustering
  • Behavioral Representational Similarity Analysis
  • Five-node Social Network Analysis
  • Undefined intervention response accuracy

Datos utilizados

  • CBAS psychometric sample of 330 adults, not released
  • Younger/older comparison sample of 110 adults, not released
  • LLM CBAS responses and intervention outputs, not released

Evidencia y localización

  • Objetivo, contribuciones, 58 sesgos y modelos: arXiv v1, pp. 1-2, Abstract, Introduction and Related Work
  • 72 ítems, 330+110 participantes, parámetros, psicometría, RSA/SNA e intervención: arXiv v1, p. 3, sections 3-4.2
  • Conectividad, núcleos, accuracy y claims postintervención: arXiv v1, p. 4, Tables 1-2 and sections 4.3-5.4
  • IDs hasta Q92/Q93, omisión ERNIE RSA y redes no reconciliadas: arXiv v1, pp. 6-10, Appendix Figures 1-2; all embedded figures visually inspected
  • Estatus, licencia y ausencia de source editable: arXiv abstract/Atom metadata and source endpoint, checked 2026-07-17
  • Errores de referencias RSA/LLM: Exact-title checks against official Nature, PNAS/PLOS and publisher records on 2026-07-17
  • Ausencia de CBAS, código, datos y artefactos oficiales: Exact-title, arXiv-ID, scale-name and result-number web/GitHub searches performed 2026-07-17
  • Auditoría integral de instrumento, estadística, RSA/SNA, intervención, ética y reproducción: reports/verification/article-378-cbas-item-count-rsa-identifiability-psychometric-reporting-age-groups-intervention-accuracy-ethics-citation-and-reproducibility-audit.json