Cognitive Alignment Deciphered: A Self-Developed Scenario-Based Prompt Scale Coupled with Representational Similarity Analysis and Social Network Analysis for Unraveling Bias Mechanisms Across Humans and LLMs

This preprint proposes CBAS, a scenario scale for comparing cognitive bias in people and LLMs, and combines representational similarity analysis (RSA) with social network analysis (SNA). It describes 58 biases grouped into Calculation, Belief, Information, Social, and Memory and operationalized through 72 items. More than 230 initial biases were reportedly reviewed and ten experts helped select them, but no item, response option, key, scoring rule, dimension mapping, or language version is published. A sample of 330 people aged 18-71 is used for psychometrics and a second sample of 110 younger and older adults is compared with ERNIE 3.5 8K, DeepSeek V3, and DeepSeek R1. Model parameters are temperature .9, top-p 1.0, and 2,000 maximum tokens. The paper reports overall alpha .714 and CFA fit of chi-square/df=1.83, RMSEA=.057, CFI=.908, and TLI=.903. Relations with CRT, DMC, and DOI are reduced to p<.05, while an RNN clustering procedure is said to agree 89% with the dimensions. In the comparison, human variability is reported as SD=16.68 versus 4.95-9.78 for models, without defining the measure or repetitions. Average connectivity is .107 for younger adults, .150 for older adults, .055 for ERNIE, .036 for DeepSeek V3, and .097 for R1. The paper interprets younger adults as Calculation-centered, older adults as Social-centered, and models as having fixed cores with isolated Information. Two prompts, a cognitive-scientist role and that role plus explicit mitigation, aim to change behavior. DeepSeek V3 reportedly rises from 48.65% to 78.24% accuracy and R1 from 70.43% to 84.86%; no ERNIE result is given. These numbers do not yet validate CBAS or a cognitive architecture. There is a material version conflict: Methods says 72 items, but visible matrix axes reach Q92/Q93 and include groups such as Q90_Q91_Q92 plus average/unnamed fields. The figures are not demonstrably based on the described instrument. Overall alpha also does not validate five subscales: no dimension alphas, omega, or test-retest estimate is provided; with 72 items, alpha .714 implies an average inter-item correlation of approximately .0335. EFA, CFA, IRT, MDS, genetic factor analysis, and RNN methods are listed without loadings, eigenvalues, parameters, estimator, ordinal treatment, residuals, complete results, or sample splitting. It is unknown whether EFA and CFA reuse the same 330 people. All p<.05 cannot establish criterion validity without effect sizes, directions, or multiplicity control, and the RNN's 89% lacks a target, baseline, and held-out validation. Age comparisons provide no cutoffs, group Ns, recruitment, demographics, or adjustment; they are cross-sectional and do not show within-person adaptation. The central RSA problem is identification. Methods says an item-by-item matrix is built for each participant and model through Pearson correlations among responses. One scalar response per item is insufficient to correlate item pairs; repeated observations or feature vectors must be defined. The paper does not say whether cells use participants, runs, tokens, embeddings, or another dimension. Model run counts and seeds are also absent despite temperature .9. Even if computed correctly, behavioral-output correlations describe response similarity, not hidden representations, activations, or architecture. SNA has the same issue: correlations among five dimensions for one model require a repeated sampling unit that is not defined. Only connectivity and qualitative labels are tabulated, not the announced centrality, density, and integration metrics. The RSA appendix omits ERNIE and provides no post-intervention matrix or network. Table 2 calls Information isolated in ERNIE, but its own graph draws several nonzero Information links. Intervention accuracy has no normative answer, scorer, denominator, parsing rule, or separate role-only versus role-plus-mitigation result. Calling the gain significant is unsupported by t, df, p, effect size, or interval; Methods also specifies an independent t test for a pre/post design on the same models and items, which is paired. Claimed post-intervention structural reorganization has no numerical or visual evidence. For reproducibility and ethics, CBAS, data, code, full prompts, outputs, and analyses are absent. The 440 participants, health-history screening, and responses are reported without an ethics board, consent, privacy procedure, compensation, or recruitment description. Linguistic equivalence between the human population and Chinese models is undocumented. Several references are mis-cited or unverifiable as written, including citations used to motivate LLM RSA. The useful contribution is the proposal to evaluate bias through scenarios rather than abstract accuracy alone; all numbers should be read as exploratory author-reported results, not validation of a replicable scale or evidence of internal cognitive mechanisms.

Este preprint propone CBAS, una escala de escenarios para comparar sesgos cognitivos en personas y LLM, y combina similitud representacional (RSA) con análisis de redes (SNA). El texto describe 58 sesgos agrupados en Cálculo, Creencia, Información, Social y Memoria, operacionalizados mediante 72 ítems. Afirma que más de 230 sesgos iniciales fueron revisados y que diez expertos participaron en la selección, pero no publica ningún ítem, opción de respuesta, clave, regla de puntuación, asignación a dimensiones ni versión lingüística. Una muestra de 330 personas de 18–71 años se usa para psicometría y otra de 110 adultos jóvenes y mayores para comparar con ERNIE 3.5 8K, DeepSeek V3 y DeepSeek R1. Los modelos reciben temperatura 0,9, top-p 1,0 y máximo 2.000 tokens. Se reporta alfa global 0,714 y CFA con χ²/df=1,83, RMSEA=0,057, CFI=0,908 y TLI=0,903. Las asociaciones con CRT, DMC y DOI se resumen solo como p<0,05; un clustering RNN alcanza un supuesto acuerdo de 89% con las dimensiones. En la comparación, la variabilidad humana se cifra en SD=16,68 y la de los modelos en 4,95–9,78, sin definir la medida ni las repeticiones. La conectividad media publicada es 0,107 en jóvenes, 0,150 en mayores, 0,055 en ERNIE, 0,036 en DeepSeek V3 y 0,097 en R1. El paper interpreta que jóvenes tienen núcleo de Cálculo, mayores de Social y los modelos núcleos fijos con Información aislada. Dos prompts, rol de científico cognitivo y rol más mitigación explícita, buscan modificar el comportamiento. DeepSeek V3 pasa de 48,65% a 78,24% de accuracy y R1 de 70,43% a 84,86%, según el texto; no se informa ERNIE. Estas cifras no validan todavía CBAS ni una arquitectura cognitiva. Hay una contradicción de versión material: el método dice 72 ítems, pero los ejes de las matrices visibles llegan a Q92/Q93, incluyen grupos como Q90_Q91_Q92 y campos average/unnamed. Las figuras no corresponden de forma demostrable al instrumento descrito. El alfa global tampoco valida cinco subescalas: no se publican alfas por dimensión, omega ni test-retest; para 72 ítems, alfa 0,714 implica una correlación interítem media aproximada de 0,0335. EFA, CFA, IRT, MDS, análisis factorial genético y RNN se enumeran sin cargas, eigenvalues, parámetros, estimador, tratamiento ordinal, residuos, resultados completos ni split de muestras. No se sabe si EFA y CFA reutilizan las mismas 330 personas. All p<0,05 no permite evaluar validez de criterio sin tamaños, direcciones o corrección múltiple, y el 89% RNN carece de target, baseline y validación held-out. La comparación de edad tampoco da cortes, N por grupo, reclutamiento, demografía o ajustes: es transversal y no demuestra adaptación dentro de una persona. El problema central de RSA es de identificabilidad. El método afirma construir para cada participante y modelo una matriz ítem×ítem mediante correlaciones de Pearson entre respuestas. Una respuesta escalar por ítem no basta para correlacionar pares de ítems; hace falta definir observaciones repetidas o vectores de características. No se aclara si las celdas usan participantes, runs, tokens, embeddings u otra dimensión. Para los modelos tampoco se informa número de ejecuciones o semillas pese a temperatura 0,9. Aunque el cálculo fuese correcto, correlacionar outputs conductuales describe similitud de respuesta, no representaciones internas, activaciones o arquitectura. SNA tiene el mismo problema: las correlaciones entre cinco dimensiones de un único modelo requieren una unidad repetida que no se define. Solo se tabulan conectividad y etiquetas cualitativas, no centralidad, densidad e integración anunciadas. El apéndice RSA omite ERNIE; tampoco muestra matrices o redes postintervención. Además, la tabla etiqueta Información como aislada en ERNIE, pero su propia red dibuja varios enlaces no nulos con ese nodo. La accuracy de intervención no tiene respuesta normativa, scorer, denominador, parsing ni resultado separado para rol versus rol+mitigación. Llamar significant al cambio no está respaldado por t, df, p, efecto o intervalo; y el método usa t independiente para un diseño pre/post sobre los mismos modelos e ítems, que es emparejado. La afirmación de reorganización estructural posterior carece de números y figuras. En reproducibilidad y ética, no se publican CBAS, datos, código, prompts completos, outputs o análisis. Los 440 participantes, el cribado de historia cognitiva/neurológica y sus respuestas aparecen sin comité ético, consentimiento, privacidad, compensación o reclutamiento. Tampoco se documenta equivalencia lingüística entre población y modelos chinos. Varias referencias están mal citadas o no se verifican tal como aparecen, incluidas las usadas para justificar RSA en LLM. La contribución útil es la propuesta de evaluar sesgos mediante escenarios y no solo accuracy abstracta; los valores deben leerse como resultados exploratorios comunicados por la autora, no como validación de una escala replicable ni evidencia de mecanismos cognitivos internos.