Teaching Values to Machines: Simulating Human-Like Behavior in LLMs

Inducción y control de rasgos2026ACL AnthologyRevisión editorial aprobada

Autores: Asaf Yehudai, Naama Rozen, Ariel Gera

Palabras clave: Persona conditioning, Psychometrics, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
10
Hallazgos
18
Limitaciones
5
Evidencias

Resumen editorial

Español

Teaching Values to Machines es un trabajo publicado en el workshop GEM 2026 de ACL, páginas 825-847, DOI 10.18653/v1/2026.gem-main.70 y licencia CC BY 4.0. Su preprint asociado requiere una advertencia de procedencia: arXiv:2605.30036v1 se envió el 28 de mayo de 2026, pero Asaf Yehudai retiró v2 el 16 de junio indicando un desacuerdo sobre la atribución adecuada y la intención de resolverlo. La versión arXiv vigente no tiene PDF ni licencia; ACL Anthology mantiene, no obstante, una publicación con Asaf Yehudai, Naama Rozen y Ariel Gera como autores. La auditoría tomó como fuente autoritativa el PDF GEM y revisó visualmente sus 23 páginas, el texto completo y, además, las 23 páginas y el TeX completo de arXiv v1. El estudio pregunta si descripciones breves de valores pueden cambiar sistemáticamente el comportamiento de LLMs, si las estructuras valorales y las relaciones valor-conducta resultantes se parecen a correlaciones humanas y si mezclas de outputs permiten simular experimentos psicológicos poblacionales. La intervención no aprende una personalidad: antepone uno de diez prompts basados en Schwartz, poder, logro, hedonismo, estimulación, autodirección, universalismo, benevolencia, tradición, conformidad o seguridad, que pide imaginar ser una persona que valora intensamente ese contenido. Se evalúan Flan-T5-XXL, Llama-3-8B-Instruct, Llama-3-70B-Instruct, Mixtral-8x7B-Instruct, Qwen3-235B-A22B-Instruct-2507, GPT-OSS-20B y GPT-OSS-120B. Para RQ1, los autores reutilizan el test de persona de Perez et al.: seleccionan aleatoriamente 50 enunciados por conducta, los convierten en preguntas sí/no bajo los diez prompts y calculan acuerdo. Las figuras muestran cambios grandes en política, religión, ética, personalidad, agencia y seguridad, y algunas correlaciones negativas entre pares teóricamente opuestos. No se informa cuántas conductas entraron, qué 50 enunciados se eligieron ni las seeds. La capa psicológica usa PVQ de 40 ítems para medir diez valores y cinco evaluaciones conductuales: nueve causas de donación, Prosocialness Scale de 16 ítems, Paired Charity Game, BFI-2 de 60 ítems y Everyday Behavior Questionnaire de 85 ítems. Se declara temperatura 0,7 y 100 repeticiones por prompt; faltan revisiones exactas de modelos, runtime, serialización, top-p, límites, seeds, parser, retries y fechas. Los outputs se combinan en pseudopoblaciones. Uniform asigna 10% a cada valor. H-Norm renormaliza la fracción humana con un valor dominante; H-Even reparte entre los diez valores el aproximadamente 53% que una fuente clasifica sin valor dominante; H-NP representa ese 53% mediante el modelo sin priming. Model-Specific pondera cada valor según su similitud con la estructura humana objetivo. Para estructura de valores, el artículo calcula correlaciones entre diez scores, proyecta con MDS en dos dimensiones, alinea el mapa LLM al humano mediante Procrustes y define S_V=1-disparidad. La Tabla 1 presenta ese score en escala 0-100: promedios 79,40 Uniform, 80,90 H-Norm, 81,76 H-Even, 82,81 H-NP y 78,81 Model-Specific. H-NP es máximo en seis modelos; Mixtral alcanza su máximo con H-Norm. La tabla y el texto llaman a S_V correlación, pero no lo es: es uno menos una disparidad Procrustes después de MDS. Para conducta, se correlacionan las formas vectorizadas de matrices valor-conducta de LLM y humanos, ahora sí mediante Pearson S_B. En H-NP, la Tabla 2 da medias por modelo desde 45,8 en Llama-3-8B hasta 68,0 en Qwen. Las medias por área son 77,7 Charity, 45,2 Donation, 39,1 Prosocial, 72,5 Everyday y 64,4 Big Five; Llama-3-8B obtiene -4,1 en Prosocial sin significación. La tabla Uniform del apéndice da 48,7-69,0 y supera ligeramente a H-NP en promedio conductual. Una ablación compara Priming Only, un PVQ previamente contestado como contexto, Test Only, y ambos. En H-NP las medias son 59,0, 41,5 y 55,6 respectivamente: Priming Only gana en cuatro de siete modelos y Priming & Test en tres. En Uniform son 59,8, 42,2 y 56,4. Las medias impresas son aritméticamente consistentes. El principal límite causal es que valor y conducta reciben la misma etiqueta explícita. Al mezclar los diez grupos, las diferencias de medias entre prompts pueden producir una correlación valor-conducta alta aunque dentro de cada prompt o run no exista una relación estable. El artículo no separa covarianza intra- y entre-condición ni usa un modelo multinivel. Dice que valor y conducta se miden independientemente, pero no explica cómo empareja generaciones estocásticas de PVQ y conducta para formar una muestra: si se emparejan draws independientes, la correlación individual es artificial; si existe continuidad, seed o historial compartido, no se documenta. Las 100 generaciones de un mismo modelo y prompt son una distribución de outputs, no cien personas independientes. No hay identidad persistente, historia vital, estabilidad longitudinal o representatividad demográfica. Los métodos human-informed incorporan el target humano en la mezcla, por lo que parte de la mejora está diseñada. Model-Specific es más circular: usa la similitud a la matriz humana para elegir pesos y evalúa contra esa misma matriz sin cohorte held-out. Su fórmula w_v=s_v/suma(s_k) normaliza Pearson crudos; si algún s_v es negativo puede producir pesos negativos, no una probabilidad. Los scores y pesos no se publican. MDS también queda subespecificado: no se da transformación correlación-distancia, algoritmo, inicialización, seed, stress o convergencia. La proyección 2D y el ajuste óptimo de traslación, rotación y escala favorecen mapas visualmente parecidos, pero no hay null distribution ni incertidumbre. La significación usa 100 bootstraps de 500 muestras y un t-test de una muestra de las 100 correlaciones contra cero. Los bootstraps reutilizan el mismo pool y no son experimentos independientes; tratarlos como N=100 reduce artificialmente el error estándar. No se dan intervalos, corrección por múltiples comparaciones o una permutación que preserve prompts e ítems. Las estrellas son por ello anti-conservadoras. Los targets humanos tampoco forman una población única: Charity reúne 276 donantes australianos y 1.042 estadounidenses; Big Five usa 246 estudiantes israelíes; el juego solo 46 estudiantes israelíes; Everyday agrega 1.857 personas de Italia, Polonia, Rusia y EE.UU.; Prosocial combina dos muestras italianas de 340 y 245 jóvenes. No se explica pooling o weighting. El LLM contesta BFI-2, pero la matriz humana procede de un estudio de 2002 anterior a BFI-2; la correlación entre instrumentos no garantiza equivalencia de ítems. El prior de 53% se traslada a todas esas poblaciones sin publicar los diez pesos exactos. El reclamo de más de cinco millones de preguntas tampoco puede reconstruirse: faltan el número de conductas Perez, lista de enunciados, si RQ1 se repite 100 veces, serialización y ledger por condición. No se encontró repositorio de autores. El TeX contiene una promesa comentada de publicar código/datos, pero el release real solo incluye manuscrito y figuras: faltan items, outputs, matrices humanas, pesos, parser, bootstraps y scripts. La contribución defendible es que instrucciones explícitas de valores cambian de forma marcada las respuestas y que mezclas de distribuciones prompt-conditioned pueden aproximar correlaciones agregadas seleccionadas. No demuestra valores internos, personalidad persistente, individuos humanos sintéticos, relaciones valor-conducta individuales, representatividad poblacional, significación válida ni reproducción independiente. Debe citarse como publicación GEM 2026 con advertencia visible de que el registro arXiv asociado sigue retirado por un desacuerdo no resuelto de atribución.

English

Teaching Values to Machines is a published ACL GEM 2026 workshop paper, pages 825-847, DOI 10.18653/v1/2026.gem-main.70, under CC BY 4.0. Its associated preprint carries an important provenance warning: arXiv:2605.30036v1 was submitted on 28 May 2026, but Asaf Yehudai withdrew v2 on 16 June, stating that there was a disagreement about proper attribution and that the authors hoped to resolve it. The current arXiv version has no PDF or license, while ACL Anthology still publishes the paper under Asaf Yehudai, Naama Rozen, and Ariel Gera. The audit used the GEM PDF as authoritative and visually inspected all twenty-three pages plus complete text; it also inspected all twenty-three arXiv v1 pages and the complete TeX source. The paper asks whether short value descriptions can systematically steer LLM behavior, whether resulting value structures and value-behavior relations resemble human correlations, and whether mixtures of outputs can simulate population-level psychological experiments. The intervention does not learn a personality. It prefixes one of ten Schwartz-based prompts, power, achievement, hedonism, stimulation, self-direction, universalism, benevolence, tradition, conformity, or security, asking the model to imagine being a person who strongly values that content. Models are Flan-T5-XXL, Llama-3-8B-Instruct, Llama-3-70B-Instruct, Mixtral-8x7B-Instruct, Qwen3-235B-A22B-Instruct-2507, GPT-OSS-20B, and GPT-OSS-120B. For RQ1, the authors reuse the Perez et al. persona evaluation: they randomly select fifty statements per behavior, ask yes/no questions under ten value prompts, and aggregate agreement. Figures show large changes across politics, religion, ethics, personality, agency, and safety and some negative correlations for theoretically opposing values. The number of behavior datasets, selected statements, and random seeds are not disclosed. The psychological layer uses the forty-item PVQ for ten values and five behavioral measures: nine donation causes, the sixteen-item Prosocialness Scale, a paired charity game, the sixty-item BFI-2, and the eighty-five-item Everyday Behavior Questionnaire. Temperature is 0.7 and each psychological prompt is said to be repeated one hundred times; exact model revisions, runtime, serialization, top-p, limits, seeds, parser, retries, and dates are absent. Outputs are combined into pseudo-populations. Uniform gives ten percent to each value. H-Norm renormalizes the fraction of humans with one dominant value; H-Even spreads the approximately fifty-three percent classified as non-dominant across ten values; H-NP represents that mass with an unprimed model. Model-Specific weights prompts by similarity to the human target structure. For value structure, the paper correlates ten scores, projects them to two dimensions with MDS, Procrustes-aligns model and human maps, and defines S_V as one minus disparity. Table 1 displays this score on a 0-100 scale: means are 79.40 Uniform, 80.90 H-Norm, 81.76 H-Even, 82.81 H-NP, and 78.81 Model-Specific. H-NP is best for six models; Mixtral is best under H-Norm. The caption and prose call S_V a correlation, but it is not Pearson correlation: it is one minus Procrustes disparity after MDS. For behavior, the vectorized LLM and human value-behavior matrices are compared using Pearson S_B. Under H-NP, Table 2 gives model means from 45.8 for Llama-3-8B to 68.0 for Qwen. Dimension means are 77.7 Charity, 45.2 Donation, 39.1 Prosocial, 72.5 Everyday, and 64.4 Big Five; Llama-3-8B is -4.1 on Prosocial without significance. The appendix Uniform table spans 48.7-69.0 and is slightly better than H-NP on average behavior similarity. An ablation compares Priming Only, a previously completed PVQ as context, Test Only, and both. H-NP averages are 59.0, 41.5, and 55.6 respectively: Priming Only wins for four of seven models and Priming and Test for three. Uniform averages are 59.8, 42.2, and 56.4. Printed means are arithmetically consistent. The central causal limitation is that both value and behavior measurements share the same explicit value condition. When the ten prompt groups are mixed, between-group mean differences can create strong value-behavior correlations even when no stable within-prompt or within-run relation exists. The paper does not decompose within- and between-condition covariance or fit a multilevel model. It says value and behavior are measured independently but does not explain how stochastic PVQ and behavior generations are paired into a sample. Pairing independent draws would make an individual-level correlation artificial; shared seed, history, or continuity is undocumented. One hundred generations from a shared model and prompt are an output distribution, not one hundred independent people. There is no persistent identity, life history, longitudinal stability, or demographic representativeness. Human-informed methods import the human target into mixture construction, so part of their gain is designed. Model-Specific is more circular: it uses similarity to the human matrix to select weights and evaluates against the same matrix without a held-out cohort. Its formula normalizes raw Pearson scores as w_v=s_v/sum(s_k). Negative similarities could yield negative weights, which are not probabilities; scores and weights are not released. MDS is also under-specified: correlation-to-distance transform, algorithm, initialization, seed, stress, and convergence are absent. Two-dimensional projection and optimal translation, rotation, and scaling favor visually similar maps, but no null distribution or uncertainty is supplied. Significance uses one hundred bootstrap iterations of five hundred simulated samples and a one-sample t-test of those one hundred correlations against zero. Bootstrap estimates reuse the same pool and are not independent experiments; treating them as N=100 artificially shrinks standard error. No intervals, multiplicity correction, or prompt- and item-preserving permutation is reported, making stars anti-conservative. Human targets are heterogeneous rather than one population: Charity combines 276 Australian and 1,042 US donors; Big Five uses 246 Israeli psychology students; the charity game has only forty-six Israeli students; Everyday pools 1,857 people from Italy, Poland, Russia, and the US; Prosocial draws on two Italian young-adult samples of 340 and 245. Pooling and weighting are not defined. The LLM receives BFI-2 while the human matrix comes from a 2002 study predating BFI-2; correlation between instruments does not establish item equivalence. The fifty-three-percent prior is transferred across all populations without publishing ten exact weights. The claim of over five million questions cannot be reconstructed: the Perez behavior count, selected items, whether RQ1 is repeated one hundred times, serialization, and a per-condition query ledger are missing. No author repository was found. The TeX includes only a commented promise to release code and data; the actual release contains manuscript and figures but no items, outputs, human matrices, weights, parser, bootstraps, or scripts. The defensible contribution is that explicit value instructions strongly change responses and mixtures of prompt-conditioned distributions can approximate selected aggregate human correlation patterns. It does not establish internal values, persistent personality, synthetic human individuals, individual-level value-behavior relations, population representativeness, valid significance, or independent reproducibility. It should be cited as a GEM 2026 publication with a visible warning that its associated arXiv record remains withdrawn over an unresolved attribution disagreement.

Pregunta de investigación

¿Pueden prompts explícitos basados en los diez valores de Schwartz inducir patrones coherentes de respuesta en siete LLMs, aproximar correlaciones humanas entre valores y conductas y formar pseudopoblaciones mediante mezclas de outputs?

Método

Value-prompting con diez descripciones de Schwartz sobre siete modelos. Se aplican 50 enunciados sí/no por conducta del benchmark de Perez et al., PVQ-40 y cinco medidas conductuales; temperatura 0,7 y 100 repeticiones declaradas por prompt psicológico. Se comparan cinco mezclas poblacionales, MDS más Procrustes para estructura de valores y Pearson vectorizado para matrices valor-conducta. La auditoría revisa las 23 páginas GEM, las 23 páginas y TeX de arXiv v1, metadatos de publicación/retirada, fórmulas, aritmética, inferencia y artefactos.

Muestra: Los autores describen 100 generaciones por prompt psicológico y bootstraps de 500 draws, pero no personas independientes. La unidad es un output condicionado por modelo, valor e ítem. No se publica un ledger que derive los más de cinco millones de preguntas, ni el número de conductas Perez, las seeds o el emparejamiento PVQ-conducta. Los targets humanos varían de N=46 a N=1.857 según medida y no se define cómo se armonizan.

Hallazgos

  • El prompting explícito produce diferencias grandes de acuerdo en política, religión, ética, personalidad, agencia y seguridad.
  • S_V medio es 79,40 Uniform, 80,90 H-Norm, 81,76 H-Even, 82,81 H-NP y 78,81 Model-Specific; H-NP es máximo en seis de siete modelos.
  • S_V es uno menos disparidad Procrustes tras MDS, aunque la Tabla 1 lo llama correlación.
  • En H-NP, S_B medio va de 45,8 en Llama-3-8B a 68,0 en Qwen; Charity y Everyday son las áreas más altas.
  • Llama-3-8B obtiene -4,1 en Prosocial sin significación, mostrando que el alineamiento no es uniforme.
  • Uniform supera ligeramente H-NP en la evaluación conductual agregada del apéndice.
  • Priming Only gana en cuatro modelos y Priming & Test en tres; el PVQ contestado por sí solo es el peor en promedio.
  • Las medias impresas de las tablas principales y de apéndice son aritméticamente correctas.
  • La covarianza valor-conducta puede proceder de diferencias entre los diez grupos de prompt compartidos, no de relaciones estables dentro de individuos.
  • No existe release de código/datos capaz de recomputar ningún resultado central.

Limitaciones

  • Los prompts contienen directamente los conceptos que después se miden, con priming semántico y demand characteristics.
  • No se separan correlaciones intra-prompt y entre prompts ni se usa un modelo multinivel.
  • No se explica cómo se emparejan runs independientes de valores y conductas para formar cada muestra.
  • Repeticiones estocásticas del mismo modelo y prompt no son personas independientes ni identidades persistentes.
  • Los métodos human-informed importan el target humano en la mezcla; Model-Specific selecciona pesos con el mismo target usado para evaluar.
  • Normalizar Pearson crudos puede generar pesos Model-Specific negativos; los pesos no se publican.
  • S_V se etiqueta incorrectamente como correlación y no es comparable directamente con S_B.
  • MDS carece de transformación distancia, algoritmo, seed, stress, convergencia e incertidumbre.
  • El t-test usa 100 bootstraps dependientes como observaciones, produciendo pseudorreplicación e inferencia anti-conservadora.
  • No se publican intervalos, corrección por multiplicidad o null permutation estructurada.
  • Las muestras humanas difieren en país, edad, tamaño, instrumento y fecha; pooling y weighting no están definidos.
  • BFI-2 del LLM no coincide con el instrumento del target humano de 2002.
  • El prior de 53% no dominante se transfiere a poblaciones heterogéneas sin publicar pesos exactos.
  • El recuento de más de cinco millones no puede reconstruirse desde el artículo.
  • Faltan revisiones de modelo, stack de inferencia, prompts completos de tarea, parser, seeds, retries y fechas.
  • No se liberan enunciados muestreados, outputs, matrices humanas, pesos, bootstraps o scripts.
  • No hay controles neutrales equivalentes, familias de paráfrasis, análisis de orden o baseline sin priming para toda la evaluación.
  • El arXiv asociado está retirado por un desacuerdo no resuelto de atribución aunque exista una publicación GEM.

Qué no demuestra

  • Que los modelos posean valores, personalidad o psicología internas.
  • Que el prompting cree individuos persistentes o representativos de personas humanas.
  • Que las correlaciones valor-conducta sean relaciones intraindividuales y no efectos entre grupos de prompt.
  • Que cien generaciones sean cien participantes independientes.
  • Que H-NP o Model-Specific generalicen a una cohorte humana held-out.
  • Que los pesos Model-Specific formen siempre una probabilidad válida.
  • Que los scores de estructura sean correlaciones Pearson alrededor de 0,8.
  • Que las estrellas de significación sean válidas bajo dependencia de bootstrap y comparaciones múltiples.
  • Que una mezcla basada en un prior de otro estudio represente las poblaciones humanas heterogéneas comparadas.
  • Que se hayan ejecutado o contado de forma auditable más de cinco millones de preguntas.
  • Que los resultados sean reproducibles sin código, datos, weights, matrices y configuración.
  • Que la retirada arXiv haya resuelto el desacuerdo de atribución.

Trazabilidad

Alcance: Texto completo

Versión: GEM 2026, ACL Anthology 2026.gem-main.70, pages 825-847, DOI 10.18653/v1/2026.gem-main.70, CC BY 4.0; associated arXiv:2605.30036v2 withdrawn over a proper-attribution disagreement

Fuente consultada: https://aclanthology.org/2026.gem-main.70/

Revisión: Codex 23-page GEM visual, 23-page arXiv v1 visual, complete TeX, publication-withdrawal, psychometric construct, population-mixture, Procrustes/MDS, bootstrap, count and artifact audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Flan-T5-XXL
  • Llama-3-8B-Instruct
  • Llama-3-70B-Instruct
  • Mixtral-8x7B-Instruct
  • Qwen3-235B-A22B-Instruct-2507
  • GPT-OSS-20B
  • GPT-OSS-120B

Instrumentos y métricas

  • Diez prompts de valores de Schwartz
  • Portrait Values Questionnaire de 40 ítems
  • Perez et al. model-written persona evaluation con 50 enunciados muestreados por conducta
  • Donation Causes de nueve categorías
  • Prosocialness Scale for Adults de 16 ítems
  • Paired Charity Game
  • Big Five Inventory-2 de 60 ítems
  • Everyday Behavior Questionnaire de 85 ítems
  • MDS bidimensional y alineamiento Procrustes
  • Pearson de matrices valor-conducta vectorizadas
  • Uniform, H-Norm, H-Even, H-NP y Model-Specific

Datos utilizados

  • Outputs LLM generados bajo diez prompts de valor y condición sin priming, no publicados
  • Enunciados de Perez et al. muestreados aleatoriamente, selección no publicada
  • 276 donantes australianos y 1.042 estadounidenses para Charity
  • 246 estudiantes israelíes para correlaciones Big Five-valores
  • 46 estudiantes israelíes para Paired Charity Game
  • 1.857 participantes de Italia, Polonia, Rusia y EE.UU. para Everyday Behavior
  • Dos muestras italianas de 340 y 245 jóvenes para Prosociality
  • Distribución de valores dominantes de Witte et al., pesos exactos no publicados

Evidencia y localización

  • Publicación, autores, páginas, DOI y licencia: ACL Anthology 2026.gem-main.70 metadata and authoritative PDF, checked 2026-07-17
  • Retirada, fechas y comentario sobre atribución: arXiv:2605.30036 current v2 metadata, checked 2026-07-17
  • Método, resultados, cuestionarios, tablas, limitaciones y ética: GEM 2026 PDF, all 23 pages rendered and visually inspected, sha256 7542ad98d806931c32e4e90130f80c61796e83f49bb302e2291a013c64b6d333
  • Fórmulas, tablas, comentarios de reproducibilidad y archivos de figura: Complete arXiv v1 TeX source, sha256 a9e910bfd8fb0206b3d9014b6f70e3c8fc1508b7c7881a43b7d23d9e3e03c234
  • Validez de constructo, mezcla, MDS, bootstrap, recuento y artefactos: reports/verification/article-312-gem-value-prompting-population-mixture-procrustes-bootstrap-withdrawal-and-artifact-audit.json