Interpolative Decoding: Exploring the Spectrum of Personality Traits in LLMs

Inducción y control de rasgos2025arXivRevisión editorial aprobada

Autores: Eric Yeh, John Cadigan, Ran Chen, Dick Crouch, Melinda Gervasio, Dayne Freitag

Palabras clave: Interpolative Decoding, Contrastive Decoding, Big Five, HEXACO, Economic Games, Human Twinning, Behavioral Simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6
Autores
6
Hallazgos
9
Limitaciones
5
Evidencias

Resumen editorial

Español

El artículo estudia interpolative decoding: en lugar de redactar un prompt distinto para cada nivel de un rasgo, define dos prompts extremos y mezcla sus distribuciones token a token mediante un parámetro lambda. Prueba dos variantes. Mixture decoding promedia las distribuciones con lambda entre 0 y 1; contrastive decoding ancla un extremo y amplifica su diferencia con el otro. La evidencia más clara es de control de salidas, no de personalidad humana. En Big Five, para cada rasgo se eligen tres de seis facetas como 12 ejemplos few-shot y se reservan las otras tres como 12 ítems de evaluación. Las respuestas aleatorias a los ejemplos fijan el score objetivo y se recorren las 20 particiones posibles. La tabla publica correlaciones de 0,69 en apertura, 0,83 en responsabilidad, 0,83 en extraversión, 0,70 en amabilidad y 0,73 en neuroticismo. Sin embargo, el pie las llama Spearman entre respuestas y niveles objetivo, mientras el texto dice Pearson entre lambda y score; la unidad y el estadístico no quedan descritos de forma consistente. Mixture decoding además salta casi de un extremo al otro alrededor de lambda 0,5, mientras contrastive cambia de forma más gradual. Esto muestra que el cuestionario puede dirigirse con prompts y few-shot relacionados; no valida un rasgo psicológico interno. El segundo bloque usa un dictator game. Interpola honestidad-humildad, amabilidad y emocionalidad de HEXACO entre -30 y 30, permutando cuatro frases del prompt. El pago al compañero correlaciona 0,74/0,78 con honestidad-humildad, 0,49/0,56 con amabilidad y -0,03/-0,08 con emocionalidad, en Pearson/Spearman. El orden cualitativo coincide con la literatura humana seleccionada, pero no se recoge ni reanaliza una muestra humana con el mismo protocolo y no hay prueba de equivalencia, intervalos o significación. En Pandemic, doce pares de recomendaciones social/táctica se prueban en ocho lambdas, 96 decisiones descritas. La probabilidad de seguir al compañero cae con lambda, Pearson -0,82 y Spearman -0,94; también cambian conteos léxicos construidos por inspección de los autores. El experimento denominado human twinning es mucho más estrecho de lo que sugiere el término. Observa a una sola persona durante cinco partidas y 25 turnos de Pandemic. Un planner externo propone solo los tres o cinco mejores movimientos; Gemma 3 4B y 12B los reordenan mediante comparaciones A/B en ambos órdenes. Los autores reconocen que el orden cambia el resultado en casi el 50% de los casos. Se comparan cuatro lambdas de mixture, cuatro de contrastive y un baseline mediante perplexity sobre esos mismos 25 turnos, sin separación train/test ni segundo sujeto. Interpolación reduce ligeramente la perplexity en tres de cuatro grupos publicados: 3,92 frente a 3,95 para Gemma 12B top-3; 4,84 frente a 5,00 para 12B top-5; y 4,93 frente a 5,31 para Gemma 4B top-5. En Gemma 4B top-3 gana el baseline, 3,67 frente al mejor 3,97 interpolado. La cobertura de acciones humanas no cambia con el decoder: el planner pierde de media 1,00 movimientos con top-3 y 0,80 con top-5. La tabla muestra solo configuraciones descritas como más significativamente distintas del baseline, pero no publica test, p-value, corrección ni grid completo. Por ello es ajuste in-sample de una distribución sobre acciones ya cubiertas por el planner, no predicción individual prospectiva. Un último experimento entrena un MLP con 1.294 respuestas sintéticas y valida en 214 para recuperar lambda; los MSE son 2,96, 2,19 y 1,28 según rasgo. Recuperar un parámetro generativo desde texto del propio LLM no estima un rasgo humano. La reproducibilidad es muy baja. Fuera del apartado de twinning no se identifica el LLM empleado; faltan temperatura, top-p, seeds, versiones y resultados crudos. La fórmula contrastive se escribe sobre probabilidades, no logits o log-probabilidades, y sin código no puede verificarse la operación real. El repositorio oficial BSD-3, commit 42cfaf8, contiene únicamente README, licencia y tres imágenes; sus siete commits nunca incluyeron código ni datos, pese a que el paper dice que se publicarán allí. Tampoco se aportan los 25 turnos humanos, consentimiento, demografía, experiencia, revisión ética o política de privacidad. La conclusión fiel es que lambda controla varias regularidades textuales y decisiones en los prompts ensayados. No queda demostrado un continuo psicológico humano, una replicación experimental formal ni un gemelo capaz de predecir a personas nuevas o turnos no observados.

English

The paper studies interpolative decoding: rather than authoring a separate prompt for every trait level, it defines two endpoint prompts and combines their token distributions with a scalar lambda. It tests two variants. Mixture decoding averages the distributions with lambda in [0,1], while contrastive decoding anchors one endpoint and amplifies its difference from the other. The clearest evidence concerns output control, not human personality. In the Big Five study, three of each trait's six facets supply 12 few-shot examples and the remaining three supply 12 assessment items. Random answers to the examples define the target score, and all 20 facet partitions are evaluated. The table reports correlations of 0.69 for openness, 0.83 for conscientiousness, 0.83 for extraversion, 0.70 for agreeableness and 0.73 for neuroticism. However, its caption calls them Spearman correlations between answers and target levels, whereas the text says Pearson correlation between lambda and trait score; the statistic and unit are not consistently described. Mixture decoding also switches almost discontinuously near lambda 0.5, while contrastive decoding changes more gradually. This shows that questionnaire output can be steered with related descriptions and examples; it does not validate an internal psychological trait. The second study uses a dictator game. It interpolates HEXACO honesty-humility, agreeableness and emotionality from -30 to 30 while permuting four prompt sentences. Coworker payout correlates 0.74/0.78 with honesty-humility, 0.49/0.56 with agreeableness and -0.03/-0.08 with emotionality in Pearson/Spearman terms. The qualitative ordering resembles the selected human literature, but no matched human sample is collected or reanalyzed, and no equivalence test, interval or significance result is given. In Pandemic, twelve conflicting social/tactical recommendation pairs are tested at eight lambdas, 96 described decisions. Following the co-player falls with lambda, Pearson -0.82 and Spearman -0.94, and author-inspected lexical counts move in corresponding directions. The human-twinning experiment is far narrower than the label suggests. It observes one person over five games and 25 Pandemic turns. An external planner first proposes only the top three or five move sets; Gemma 3 4B and 12B re-rank them through A/B comparisons in both orders. The authors acknowledge that order changes the result in nearly 50% of cases. Four mixture lambdas, four contrastive lambdas and a baseline are compared by perplexity on those same 25 turns, with no train/test separation or second person. Interpolation slightly lowers perplexity in three of four reported groups: 3.92 versus 3.95 for Gemma 12B top-3; 4.84 versus 5.00 for 12B top-5; and 4.93 versus 5.31 for Gemma 4B top-5. For Gemma 4B top-3, the baseline wins at 3.67 versus the best shown interpolation value of 3.97. Human-action coverage does not change with decoder: the planner misses an average 1.00 moves for top-3 and 0.80 for top-5. The table shows only configurations described as most significantly different from baseline, but no test, p-value, correction or complete grid is published. This is in-sample distribution fitting over planner-covered actions, not prospective individual prediction. A final MLP uses 1,294 synthetic responses for training and 214 for validation to recover lambda; MSE is 2.96, 2.19 and 1.28 by trait. Recovering a generation setting from the same LLM's text does not estimate a human trait. Reproducibility is very low. Outside the twinning subsection, the paper does not identify the LLM; temperature, top-p, seeds, versions and raw results are absent. The contrastive formula is written over probabilities rather than logits or log probabilities, and without code its actual implementation cannot be checked. The official BSD-3 repository at commit 42cfaf8 contains only a README, license and three images; none of its seven commits ever contained code or data, despite the paper saying they will be released there. The 25 human turns, consent, demographics, expertise, ethics review and privacy policy are also absent. The faithful conclusion is that lambda controls several textual regularities and decisions under the tested prompts. A human psychological continuum, formal replication and a twin that predicts new people or unseen turns are not established.

Pregunta de investigación

¿Puede la combinación token a token de dos prompts extremos controlar de forma continua rasgos y decisiones de un LLM y, al invertir esa búsqueda, aproximar las acciones de una persona concreta?

Método

Compara mixture y contrastive decoding entre pares de prompts. Evalúa control Big Five con 20 particiones de facetas, decisiones del dictator game bajo tres rasgos HEXACO, 96 decisiones social/táctica en Pandemic, ajuste de acción para una persona en 25 turnos con Gemma 3 y una regresión de lambda entrenada solo con respuestas sintéticas.

Muestra: Cinco rasgos Big Five con 20 particiones de facetas; tres rasgos HEXACO en un dictator game; 12 escenarios Pandemic por ocho lambdas; una persona, cinco partidas y 25 turnos para twinning; 1.294/214 tuplas sintéticas para regresión. No se identifica el modelo en la mayoría de experimentos.

Hallazgos

  • Lambda modula de forma marcada los scores Big Five, aunque Table 1 no describe consistentemente si reporta Pearson o Spearman ni su unidad exacta.
  • En el dictator game, honestidad-humildad se relaciona más con pago que amabilidad y emocionalidad queda cerca de cero, reproduciendo solo el patrón cualitativo de literatura seleccionada.
  • En 96 decisiones Pandemic, favorecer la señal táctica reduce seguir al compañero y cambia el léxico hacia la ciudad de riesgo.
  • En una sola persona, settings interpolados reducen modestamente la perplexity in-sample en tres de cuatro grupos publicados; el baseline gana el cuarto.
  • El regressor recupera parcialmente lambda de texto sintético, pero no estima personalidad ni conducta humana.
  • La release pública no contiene implementación, datos ni resultados reproducibles.

Limitaciones

  • LLM sin identificar en cuatro de cinco secciones empíricas y ausencia de sampling config, seeds, hardware y versiones.
  • Sin datos crudos, intervalos, tests, correcciones ni grid completo de configuraciones.
  • Inconsistencia Pearson/Spearman y unidad de análisis indefinida en Big Five.
  • Controles semánticamente arbitrarios y mixture decoding casi discontinuo en lugar de continuo.
  • Solo dimensiones aisladas; no se prueba combinación multirrasgo.
  • Twinning con una persona, 25 turnos, sin holdout y condicionado por un planner que omite acciones.
  • Decisiones A/B sensibles al orden en casi el 50% de casos y fallback de parsing no validado.
  • Sin datos humanos, consentimiento, demografía, experiencia, revisión ética o privacidad.
  • Repositorio de cinco archivos sin código ni datos pese a la promesa de futura publicación.

Qué no demuestra

  • Un rasgo psicológico humano interno o un continuo psicométricamente válido en el LLM.
  • Que mixture decoding recorra suavemente el espectro.
  • Una replicación humana con protocolo y muestra comparables.
  • Significación, robustez entre semillas, controles o familias de modelos.
  • Control simultáneo de varios rasgos sin interferencia.
  • Predicción prospectiva de una persona, generalización a nuevos turnos o a otros individuos.
  • Twinning de comunicación, razonamiento o conducta general; solo se ajusta una distribución de acciones.
  • Que el regressor sintético recupere un rasgo humano.
  • Seguridad o legitimidad para experimentos no éticos, vigilancia o profiling de insider threats.
  • Reproducibilidad mediante el repositorio enlazado.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2512.19937v1, submitted 2025-12-23; preprint under review; official repository history audited separately

Fuente consultada: https://arxiv.org/abs/2512.19937

Revisión: Codex 20-page visual, official-arXiv-v1, full-method, Big-Five facet-split, correlation-definition, HEXACO dictator-game, 96-scenario information-weighting, single-subject 25-turn twinning, candidate-coverage, choice-order, selective-reporting, synthetic-regression, repository-history, human-data, ethics, reproducibility and claim-boundary audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • Gemma 3 4B, identified only for human-twinning experiment
  • Gemma 3 12B, identified only for human-twinning experiment
  • Unidentified LLM for Big Five, dictator game, Pandemic information-weighting and regression-data experiments
  • Unspecified Sentence-BERT-style embedding model
  • Three-layer MLP lambda regressor

Instrumentos y métricas

  • Big Five inventory items split by six facets per trait
  • Big Five low/middle/high website descriptions
  • Author-rewritten HEXACO endpoint descriptions
  • Dictator game payout
  • Pandemic action choice and planner candidate sets
  • Author-inspected collaboration/other-player/tactical-city lexical counts
  • Pearson and Spearman correlations
  • Observed-action perplexity
  • Lambda mean-squared error

Datos utilizados

  • Twenty Big Five three-of-six facet partitions per trait; raw responses not released
  • Dictator-game generations over three HEXACO traits and seven lambda settings; raw data not released
  • Ninety-six Pandemic social-versus-tactical decisions; raw data not released
  • One player, five Pandemic games and 25 turns; human data not released
  • Synthetic lambda-regression data: 1,294 training and 214 validation tuples; not released

Evidencia y localización

  • Metadatos, versión, autores, categoría y licencia: arXiv:2512.19937v1
  • Método, cinco experimentos, tablas, limitaciones y apéndices: arXiv v1 PDF, 20 páginas, sha256 8631f22db04bec67b1f1f465a1ce6264b3e2adf67e82d750331a0292e9cd45d1
  • Estado institucional y publicación como preprint: SRI publication page and arXiv record
  • Contenido y evolución real del artefacto público: SRI-AIC/foil commit 42cfaf8a7be6569b32905795f6cdd71cc1b0abce and all seven reachable commits
  • Auditoría psicométrica, de correlaciones, economic games, sujeto único, código, datos y fronteras: reports/verification/article-250-arxiv-interpolative-decoding-psychometrics-economic-games-human-twinning-code-data-and-claim-audit.json