On the Non-Identifiability of Steering Vectors in Large Language Models

The paper questions whether an interpretable behavioral effect from a steering vector implies a unique internal direction. It writes the intervention as h_l(x)+alpha*v and defines observational equivalence as equality of all outputs for every prompt and alpha. Its central proposition claims that infinitely many directions from the kernel of the layer-to-logit Jacobian can be added. The exact result, however, requires rank(J)<d and a common kernel across prompts; neither condition appears in A1-A3. Because vocabulary dimension exceeds hidden dimension, the Jacobian can have full column rank. The proof is also a first-order local linearization, while the conclusion speaks of fundamental non-identifiability under the nonlinear network and full generation. Small effective rank under a threshold is not an exact kernel, and orthogonality to v does not imply membership in ker(J).

ArXiv v4 tests Llama-3.1-8B-Instruct and Qwen2.5-3B-Instruct at a middle layer on five textual traits: formality, politeness, sentiment, truthfulness, and agreeableness. Each vector is a mean activation difference over up to 50 prompt pairs. The main test compares generations under v against v+v_perp, where v_perp is random, orthogonal to v, and has the same norm. With ten directions per condition, Table 1 reports mean absolute d values from 0.059 to 0.192; global means are 0.119 for Llama and 0.131 for Qwen. This is similarity in one automatic score, not equality of logits or output distributions. Mean-difference and PCA vectors have cosine similarities from about -0.54 to 0.32 with d as high as 0.252. The 50-direction test has mean d values from 0.243 to 0.291 in several cells. Distribution-shift cells reach about 0.7, although the text attributes them to classifier variance without demonstrating that explanation. The logit test finds that the orthogonal perturbation changes next-token logits by 47% to 73% as much as an asymmetric random control; this is not near-zero change.

The dimensionality estimate contains a checkable contradiction. The paper says it applies SVD to covariances of 200 activations and defines NF=(d-r)/d. A centered covariance from 200 observations has rank at most 199 by construction, so a large null space would not by itself reveal model geometry. Its numbers also do not follow the formula: d=4096 and r=57 imply NF=0.986 rather than 0.943, while d=2048 and r=139 imply 0.932 rather than 0.861. The published values exactly equal (1000-r)/1000, matching the script that probes the Jacobian along 1,000 random directions. That script does not measure all 2,048/4,096 hidden dimensions, computes rank with a 5% threshold while documentation and stored JSON say 1%, and uses only the first prompt. The appendix does not repair the argument: it assumes without measurement that all prompts share a kernel and incorrectly derives infinite variance from a Fisher pseudoinverse that contributes zero in its own displayed expression.

The code audit further limits the empirical findings. The main script has only 20 incomplete prompt stems with five samples, not 100 unique prompts; objects called seeds are random directions and do not control stochastic generation. Formality parses informal as formal because it searches for the substring formal, and agreeableness can select disagreeable while searching for agreeable. BART-MNLI labeled accurate and factually correct cannot fact-check claims. The main helper scores the prompt together with the completion and silently drops errors. No result JSON, outputs, vectors, figures, checkpoints, or singular values are released; src/results, data, RESULTS.md, METHODOLOGY.md, and uv.lock are ignored. The evidence does support a useful warning: validating a direction with one narrow behavioral probe does not justify interpreting it as a unique internal concept. It does not establish the exact theorem, a global kernel, construct-valid traits, or numerical reproducibility. Bibliographically, v4 remains a preprint; Re-Align and CAO were non-archival appearances with older titles and methods, and TrustNLP scheduled it as a poster but did not include it among published papers.

El artículo cuestiona que un vector de steering con efecto conductual interpretable corresponda a una dirección interna única. Formaliza la intervención como h_l(x)+alpha*v y define equivalencia observacional como igualdad de todas las salidas para todos los prompts y valores de alpha. Su proposición central sostiene que se pueden sumar infinitas direcciones del núcleo del Jacobiano entre la capa intervenida y los logits. Sin embargo, el resultado exacto requiere rank(J)<d y un núcleo común entre prompts; ninguna de esas condiciones aparece en A1-A3. Como el vocabulario tiene más dimensiones que el estado oculto, el Jacobiano puede tener rango columna completo. Además, la demostración es una linealización local de primer orden, mientras la conclusión habla de no identificabilidad fundamental bajo la red no lineal y la generación completa. Un rango efectivo pequeño bajo umbral no es un núcleo exacto, y ser ortogonal a v no implica pertenecer a ker(J).

La versión arXiv v4 prueba Llama-3.1-8B-Instruct y Qwen2.5-3B-Instruct en una capa media y cinco rasgos textuales: formalidad, cortesía, sentimiento, veracidad y afabilidad. Cada vector se extrae como diferencia media de activaciones de hasta 50 pares de prompts. El test principal compara generaciones con v frente a v+v_perp, donde v_perp es aleatorio, ortogonal a v y tiene la misma norma. La Tabla 1 comunica, con diez direcciones por condición, d medios absolutos entre 0,059 y 0,192; los promedios globales son 0,119 para Llama y 0,131 para Qwen. Eso muestra similitud en una puntuación automática concreta, no igualdad de logits o distribuciones. La comparación entre el vector medio y el primer componente PCA llega a cosenos de aproximadamente -0,54 a 0,32 con d de hasta 0,252. El muestreo de 50 direcciones contiene d medios de 0,243 a 0,291 en varias celdas. En distribución cambiada aparecen valores cercanos a 0,7, aunque el texto los atribuye a varianza del clasificador sin demostrarlo. El test de logits encuentra que la perturbación ortogonal cambia los logits del siguiente token entre 47% y 73% de lo que cambia un control aleatorio asimétrico; no es una diferencia cercana a cero.

La estimación dimensional presenta una contradicción verificable. El paper dice aplicar SVD a covarianzas de 200 activaciones y define NF=(d-r)/d. Una covarianza centrada de 200 observaciones tiene rango máximo 199 por construcción, por lo que el gran espacio nulo no probaría geometría del modelo. Además, sus cifras no obedecen la fórmula: d=4096 y r=57 darían NF=0,986, no 0,943; d=2048 y r=139 darían 0,932, no 0,861. Los valores publicados son exactamente (1000-r)/1000, como el script que sondea el Jacobiano en 1.000 direcciones aleatorias. Ese script tampoco mide las 2.048/4.096 dimensiones completas, calcula el rango con umbral del 5% mientras documentación y JSON dicen 1%, y usa solo el primer prompt. El apéndice tampoco repara el argumento: supone sin medir que todos los prompts comparten núcleo y deriva incorrectamente varianza infinita de una pseudoinversa de Fisher que en su propia expresión aporta cero en la dirección nula.

La auditoría del código limita además los resultados empíricos. El script principal contiene solo 20 stems incompletos con cinco muestras, no 100 prompts únicos; sus llamadas denominadas seeds son direcciones aleatorias y no fijan la generación estocástica. La formalidad clasifica informal como formal porque busca la subcadena formal, y afabilidad puede seleccionar disagreeable al buscar agreeable. BART-MNLI con la etiqueta accurate and factually correct no verifica hechos. El helper principal entrega al clasificador el prompt junto con la continuación y omite silenciosamente errores. No se publican resultados JSON, outputs, vectores, figuras, checkpoints ni singular values; src/results, data, RESULTS.md, METHODOLOGY.md y uv.lock están ignorados. La evidencia sí apoya una advertencia útil: validar una dirección con un único probe conductual no justifica interpretarla como concepto interno único. No establece el teorema exacto, un núcleo global, validez de los rasgos ni reproducibilidad numérica. Bibliográficamente, v4 sigue siendo preprint; Re-Align y CAO fueron apariciones no archivísticas con título y métodos anteriores, y TrustNLP lo programó como póster pero no lo incluyó entre sus artículos publicados.