Nationality encoding in language model hidden states: Probing culturally differentiated representations in persona-conditioned academic text

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Paul Jackson, Ruizhe Li, Elspeth Edelstein

Palabras clave: Persona conditioning, Activation steering

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
10
Hallazgos
23
Limitaciones
5
Evidencias

Resumen editorial

Español

Jackson, Li y Edelstein preguntan si los estados ocultos de Gemma-3-4b-it permiten distinguir textos académicos generados bajo personas británicas y chinas. Cruzan 45 plantillas con seis condiciones que combinan nacionalidad, medio de instrucción y rol, y producen 270 introducciones de 149 a 261 palabras. Sobre los estados de los tokens generados en las 35 capas entrenan probes logísticos; una partición fija 80/20 usa 216 textos para selección por validación cruzada y 54 para un único test. También comparan etiquetas permutadas, TF-IDF, transferencia entre familias de prompts y probes de medio y rol.

El resultado principal es una decodificación muy alta: nacionalidad alcanza accuracy de validación cruzada .968 ± .031 en la capa 18 y 54/54 en el holdout. El control con etiquetas permutadas queda en .499 y TF-IDF obtiene .371 en validación y .463 en test. La transferencia entre familias va de .589 a .933, con cinco de seis direcciones por encima de .844. El resultado muestra que una señal no reducible a unigramas superficiales es linealmente recuperable en este run. Sin embargo, British o Chinese está escrito explícitamente en cada instrucción: el probe puede estar leyendo persistencia contextual de esa etiqueta y de las mismas cláusulas de persona, no una cultura aprendida de forma independiente.

El análisis lingüístico selecciona posiciones por su propio score discriminativo: top 5% de ventanas de cinco tokens y top 2,5% de tokens individuales, con umbrales calibrados en la capa 24. Tras filtros quedan 6.961 ventanas y 2.353 tokens. En las ventanas seleccionadas aparecen más premodificación bajo persona china y más postmodificación, hedging, boosting y pasiva bajo persona británica; los dominios léxicos destacados también difieren. Pero la magnitud estructural es pequeña y las pruebas tratan miles de filas solapadas, repetidas entre capas y anidadas en solo 270 textos como si fueran independientes. Además, elegir filas por un clasificador de nacionalidad y después probar diferencias por nacionalidad introduce circularidad de selección.

La comprobación decisiva es el baseline de superficie completa: sobre 1.734 oraciones no hay diferencias significativas en frase, UPOS, predicado, hedges, boosters, modales o pasiva. Esto no prueba neutralidad cultural, pero sí limita la inferencia práctica: los efectos aparecen en posiciones elegidas por el probe, no como diferencias generales en los textos medidos. Tampoco hay intervención sobre activaciones, comparación con autores humanos, ratings de autenticidad cultural, outcomes pedagógicos ni evaluación de «cultural hollowness». La decodificación lineal no demuestra causalidad ni daño educativo.

La validez cultural exige todavía más cautela. Dos etiquetas nacionales sintetizan poblaciones, instituciones, disciplinas e historias lingüísticas heterogéneas. Los seis perfiles mezclan nacionalidad con medio y rol, no publican sus cláusulas exactas y los probes también recuperan medio (.870 en test) y rol (.963), señal de que la estructura compartida del prompt sigue presente. Dentro del cohort inglés la diferencia por nacionalidad es nula; dentro del chino aparece con celdas pequeñas. Los odds ratios de algunas tablas tampoco dejan clara su categoría de referencia y parecen invertir la dirección de las proporciones.

El trabajo es un preprint v2 de 43 páginas y usa un solo checkpoint, generación greedy y una única salida por prompt. No informa seed de la partición, revisión exacta del modelo ni entorno reproducible. El paper menciona un run guardado localmente o en Google Drive, pero no publica corpus, prompts, cláusulas, activaciones, splits, código, correcciones Stanza, lexicones ni outputs. La contribución real es una demostración exploratoria de que la condición nacional explícita permanece decodificable en estados ocultos de un modelo; no evidencia de que «lo británico» y «lo chino» sean mecanismos culturales internos validados.

English

Jackson, Li and Edelstein ask whether Gemma-3-4b-it hidden states distinguish academic text generated under British and Chinese personas. They cross 45 templates with six conditions combining nationality, instructional medium, and role, producing 270 introductions of 149-261 words. Logistic probes use generated-token states from all 35 layers; a fixed 80/20 split places 216 texts in cross-validated layer selection and 54 in one test evaluation. Controls include shuffled labels, TF-IDF, cross-prompt-family transfer, and probes for medium and role.

The main result is very high decodability: nationality reaches .968 ± .031 cross-validated accuracy at layer 18 and 54/54 on the holdout. Shuffled labels yield .499, while TF-IDF reaches .371 in cross-validation and .463 on test. Cross-family transfer ranges from .589 to .933, with five of six directions above .844. This shows that a signal not reducible to surface unigrams is linearly recoverable in this run. British or Chinese, however, is explicitly written in every instruction. The probe may recover contextual persistence of that label and repeated persona-clause wording rather than culture independently learned by the model.

The linguistic analysis selects positions by their own discriminatory scores: the top 5% of five-token windows and top 2.5% of individual tokens, with thresholds calibrated at layer 24. Filtering leaves 6,961 windows and 2,353 tokens. Selected windows show more premodification under Chinese personas and more postmodification, hedging, boosting, and passive voice under British personas; highlighted lexical domains also differ. Structural effects are small, and the tests treat thousands of overlapping rows repeated across layers and nested in only 270 texts as independent. Selecting rows with a nationality classifier and then testing those rows for nationality differences also creates selection circularity.

The decisive check is the full-surface baseline: across 1,734 sentences there are no significant nationality differences in phrase, UPOS, predicate, hedges, boosters, modals, or passive voice. This does not prove cultural neutrality, but it limits practical inference: effects occur at probe-selected positions rather than as general differences in measured outputs. There is no activation intervention, human-authored comparator, cultural-authenticity rating, pedagogical outcome, or direct measure of cultural hollowness. Linear decodability does not establish causality or educational harm.

Cultural validity needs further caution. Two nationality labels compress heterogeneous populations, institutions, disciplines, and language histories. The six profiles mix nationality with medium and role, omit their exact clauses, and probes also recover medium (.870 test) and role (.963), showing shared prompt structure remains available. Nationality is null within the English-medium cohort and appears within the Chinese-medium cohort with small cells. Several odds ratios also lack a clear reference category and appear directionally inconsistent with displayed proportions.

The work is a 43-page v2 preprint using one checkpoint, greedy generation, and one output per prompt. It omits the split seed, exact model revision, and a reproducible environment. The paper mentions a run stored locally or on Google Drive but releases no corpus, prompts, persona clauses, activations, splits, code, Stanza corrections, lexicons, or outputs. Its supported contribution is an exploratory demonstration that an explicit nationality condition remains decodable in one model's hidden states, not evidence that validated British and Chinese cultural mechanisms exist inside the model.

Pregunta de investigación

¿Puede un probe lineal recuperar la condición nacional británica o china escrita en el prompt a partir de estados ocultos de Gemma-3-4b-it durante la generación de introducciones académicas, y qué rasgos lingüísticos aparecen en las posiciones con mayor score discriminativo?

Método

Estudio de probing sobre un corpus sintético de 270 textos: 45 plantillas por seis condiciones de persona. Se promedian activaciones de tokens generados en cada una de 35 capas y se ajusta regresión logística L2 con estandarización. Una partición fija 216/54 selecciona capa por validación cruzada y evalúa una vez en test. Controles: permutación, selectividad, TF-IDF, transferencia entre familias, probes de medio y rol y baseline por oración. Las posiciones de mayor score se anotan con Stanza y lexicones manuales y se comparan con pruebas de frecuencia y rango.

Muestra: Un único Gemma-3-4b-it genera 270 textos: 45 plantillas cruzadas con seis condiciones, 135 por etiqueta nacional. Longitud 149-261 palabras, media 210. El split contiene 216 textos de entrenamiento/validación y 54 de test, pero comparte probablemente identidades de plantilla. De 8.015 ventanas y 2.921 tokens candidatos quedan 6.961 y 2.353 tras filtros; son observaciones anidadas y solapadas, no muestras independientes.

Hallazgos

  • El probe de nacionalidad alcanza .968 ± .031 de accuracy en validación cruzada en la capa 18 y 54/54 en el único holdout de 54 textos.
  • El intervalo binomial exacto bilateral del 95% para 54/54 es aproximadamente .934-1.000; el resultado perfecto observado conserva incertidumbre.
  • El control con etiquetas permutadas obtiene .499 y selectivity .469; TF-IDF obtiene .371 en CV y .463 en test.
  • La transferencia entre familias de prompts va de .589 a .933; cinco de seis direcciones superan .844 y base-a-theory es la excepción débil.
  • Medio de instrucción también es decodificable, .884 CV y .870 test, y rol alcanza .940 CV y .963 test.
  • En ventanas seleccionadas, la condición china muestra más premodificación; la británica más postmodificación, hedging, boosting y pasiva, con efectos pequeños y varios p ajustados cercanos a .05.
  • En tokens individuales no se repiten pre- y postmodificación; aparecen más predicados nominales bajo condición china y más slots adverbiales bajo condición británica.
  • El baseline de 1.734 oraciones no encuentra diferencias significativas en ninguna familia estructural o de stance medida.
  • Los picos por capa no coinciden: centroides en 18, separación de token y dominios antes, y algunos rasgos estructurales en capas tempranas o tardías.
  • Los conteos de corpus, ventanas, tokens, oraciones, capas y cohorts publicados cierran aritméticamente.

Limitaciones

  • La nacionalidad es una etiqueta explícita del prompt; recuperarla puede reflejar retención de instrucción y no cultura internalizada.
  • Faltan controles con comportamiento neutral, etiquetas arbitrarias o intercambiadas, nacionalidad omitida, baseline del estado del prompt y textos humanos.
  • Un probe lineal demuestra decodificabilidad, no uso causal de la dirección; no hay intervención de activaciones.
  • El split es por textos y no agrupado por plantilla, por lo que una misma plantilla puede aparecer en train y test bajo condiciones distintas.
  • La transferencia entre familias conserva las mismas cláusulas de persona y no prueba generalización a formulaciones nacionales inéditas.
  • No se publican seed, número exacto de folds, identificadores del split ni repeticiones de la partición.
  • El holdout contiene solo 54 textos y se evalúa una vez; 54/54 no implica accuracy universal de 1.
  • Las posiciones se seleccionan por score de un clasificador de nacionalidad y después se prueban por nacionalidad, introduciendo selección circular.
  • Las 6.961 ventanas y 2.353 tokens están anidadas en 270 textos, se solapan y se repiten entre seis capas, pero las pruebas no modelan esa dependencia.
  • No hay bootstrap por texto/plantilla ni modelo mixto; la significación puede estar sobreestimada por pseudorreplicación.
  • No queda claro que selección de umbrales e inferencia lingüística se realicen exclusivamente en datos untouched de test.
  • Se exploran 35 capas, seis capas de tokens, dos muestras, múltiples familias y thresholds; Bonferroni cubre solo subconjuntos del análisis.
  • Los thresholds top 2,5% y top 5% se calibran en capa 24 sin análisis de sensibilidad y pese a que el mejor centroide está en capa 18.
  • Algunos odds ratios parecen usar orientaciones distintas o no declaradas y contradicen la dirección de las proporciones mostradas.
  • Los efectos estructurales globales son pequeños y varios resultados de stance apenas superan la corrección.
  • El análisis ordinario por oración es completamente nulo para las variables medidas, por lo que las implicaciones visibles son inciertas.
  • British y Chinese reducen culturas y poblaciones heterogéneas a dos cues sintéticos sin validación participativa o experta.
  • Los cohorts combinan medio y rol y no publican las seis cláusulas exactas; el diseño no aísla limpiamente cada factor.
  • La auditoría manual de Stanza no informa muestra, anotadores, acuerdo, accuracy antes/después ni log completo de correcciones.
  • Los lexicones semánticos incorporan conocimiento del investigador y no son públicos.
  • Solo se prueba un modelo, un checkpoint y una salida greedy por prompt; no hay réplica por seed, sampling, modelo o versión.
  • Faltan revisión exacta de Gemma y versiones de Python, Transformers, PyTorch, CUDA, Stanza y sus modelos.
  • No se publican corpus, prompts, cláusulas, activaciones, splits, código, anotaciones, lexicones ni resultados intermedios.

Qué no demuestra

  • No demuestra que Gemma haya aprendido representaciones auténticas o independientes de las culturas británica y china.
  • No separa la retención de una etiqueta nacional explícita de una representación cultural emergente.
  • No demuestra que la dirección lineal del probe cause decisiones lingüísticas o sea usada por el modelo.
  • No establece diferencias generales de superficie entre los textos; el baseline por oración es nulo.
  • No valida que los rasgos seleccionados sean culturalmente auténticos, deseables o representativos de personas reales.
  • No mide cultural hollowness, calidad académica, aprendizaje, daño pedagógico ni outcomes de usuarios.
  • No permite inferir causalidad de nacionalidad porque persona, medio, rol y redacción del prompt están entrelazados.
  • No justifica tratar miles de tokens y ventanas como réplicas independientes de 270 textos.
  • No prueba generalización a otros modelos, checkpoints, dominios, idiomas, prompts, seeds o autores humanos.
  • No permite reproducir de forma independiente generaciones, activaciones, split, anotaciones o estadísticas.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.10151v2, 43-page preprint; no peer-reviewed venue, DOI or public artifact release identified

Fuente consultada: https://arxiv.org/abs/2604.10151

Revisión: Codex 43-page visual full-text, prompt-retention, probing, template-split, selection-circularity, clustered-dependence, annotation, cultural-construct, artifact and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Gemma-3-4b-it

Instrumentos y métricas

  • L2 logistic-regression linear probes over 35 hidden layers
  • Shuffled-label permutation baseline with 100 permutations
  • Selectivity score
  • TF-IDF unigram-bigram logistic classifier
  • Cross-prompt-family transfer tests
  • Five-token window and single-token decision scores
  • Stanza structural and stance annotation
  • Manually curated semantic-domain lexicons
  • Chi-square and Cramer's V
  • Fisher exact test
  • Mann-Whitney U and rank-biserial effect size
  • Within-family Bonferroni correction

Datos utilizados

  • 270 synthetic research-article introductions
  • 45 prompt templates across base, alternate and theory families
  • Six British/Chinese persona conditions combining medium and role
  • 6,961 retained high-signal five-token windows
  • 2,353 retained high-signal single tokens
  • 1,734 sentences in the full-surface baseline

Evidencia y localización

  • Metadatos, diseño, resultados, limitaciones, ética y apéndices: arXiv:2604.10151v2; 43 páginas renderizadas e inspeccionadas; PDF SHA-256 eebf3508fbba4f76a6050a3c67cdfaee1d62bd1a7ad513132b73229e526f07dc
  • Texto extraído y comprobaciones de conteos: Local full-text SHA-256 86b56d479ab4ea57ffbb3ed4f45ee5574ed628b2d6a5fde72535c0577d04b375; corpus, layer, cohort, token and sentence counts independently summed
  • Ausencia de repositorio y artefactos públicos: Exact-title GitHub repository search and exact run-20260325-110501 code search returned zero matches on 2026-07-17; no artifact URL appears in the paper
  • Incertidumbre de 54/54: Exact two-sided 95% Clopper-Pearson interval computed as .933968-1.000000 for 54 successes in 54 trials
  • Auditoría integral de prompting explícito, selección, dependencia, constructo cultural y reproducibilidad: reports/verification/article-369-nationality-prompt-retention-probe-selection-pseudoreplication-cultural-construct-artifact-and-reproducibility-audit.json