Post-training makes large language models less human-like

Inducción y control de rasgos2026arXivRevisión editorial aprobada

Autores: Marcel Binz, Elif Akata, Abdullah Almaatouq, Mohammed Alsobay, Oleksii Ariasov, Franziska Brändle, David Broska, Jason W. Burton, Nuno Busch, Frederick Callaway, Vanessa Cheung, Brian Christian, Julian Coda-Forno, Can Demircan, Vittoria Dentella, Maria K. Eckstein, Noémi Éltető, Michael Franke, Thomas L. Griffiths, Fritz Günther, Susanne Haridi, Sebastian Hellmann, Stefan Herytash, Linus Hof, Eleanor Holton, Isabelle Hoxha, Zak Hussain, Akshay Jagadish, Elif Kara, Valentin Kriegmair, Evelina Leivada, Li Ji-An, Tobias Ludwig, Maximilian Maier, Marcelo G. Mattar, Marvin Mathony, Alireza Modirshanechi, Robin Na, Mariia Nadverniuk, Antonios Nasioulas, Surabhi S. Nath, Helen Niemeyer, Kate Nussenbaum, Sebastian Olschewski, Thorsten Pachur, Stefano Palminteri, Aliona Petrenco, Camille V. Phaneuf-Hadd, Angelo Pirrone, Manuel Rausch, Laura Raveling, Shashank Reddy, Milena Rmus, Evan M. Russek, Tankred Saanum, Kai Sandbrink, Louis Schiekiera, Johannes A. Schubert, Luca M. Schulze Buschoff, Nishad Singhi, Leah H. Somerville, Mikhail S. Spektor, Xin Sui, Christopher Summerfield, Mirko Thalmann, Anna I. Thoma, Taisiia Tikhomirova, Vuong Truong, Polina Tsvilodub, Konstantinos Voudouris, Kristin Witte, Shuchen Wu, Dirk U. Wulff, Hua-Dong Xiong, Songlin Xu, Lance Ying, Xinyu Zhang, Jian-Qiao Zhu, Eric Schulz

Palabras clave: Psych-201, Behavioral alignment, Human response likelihood, Post-training tax, Base versus post-trained models, Persona induction, Individual-level prediction, Cognitive modeling, Negative log-likelihood, Behavioral surrogate validity, Reproducibility audit

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

79: Autores
8: Hallazgos
27: Limitaciones
4: Evidencias

Resumen editorial

Español

El trabajo presenta Psych-201, un corpus de sesiones experimentales humanas convertidas a texto, y compara la probabilidad que modelos base y post-entrenados asignan a 25,9 millones de respuestas marcadas. Reporta desventajas medias pequeñas para modelos instruction-tuned (d=0,11), de razonamiento (d=0,14) y visión (d=0,07), mientras Centaur, post-entrenado específicamente en conducta, mejora en tareas nuevas (d=0,28). El patrón es relevante para elegir sustitutos conductuales, pero «human-like» significa aquí menor NLL en tareas textificadas con respuestas humanas previas visibles, no parecido humano general. La afirmación de que la inducción de persona no ayuda no queda limpiamente identificada: el código compara participantes con metadatos contra un baseline con todos los participantes y el prefijo de persona recorta más historia. Además, el límite de 32K se aplica como caracteres, no tokens; en el train público, 6,87% de filas lo superan y sólo 81,13% de los marcadores de respuesta quedan antes del corte. Código y datos existen, pero faltan outputs, entorno fijado, trazabilidad de versiones y gobernanza central del dataset.

English

The paper introduces Psych-201, a corpus of human experimental sessions rendered as text, and compares the probability base and post-trained models assign to 25.9 million marked responses. It reports small average disadvantages for instruction-tuned (d=0.11), reasoning (d=0.14) and vision models (d=0.07), while Centaur, post-trained specifically for behavior, improves on novel tasks (d=0.28). The pattern matters for choosing behavioral surrogates, but “human-like” here means lower NLL on text-transcribed tasks with earlier ground-truth human responses visible, not general resemblance to people. The claim that persona induction does not help is not cleanly identified: released code compares metadata-bearing participants with an all-participant baseline, and the persona prefix removes more behavioral history under the fixed cap. Moreover, the advertised 32K limit is implemented in characters, not tokens; in the public train snapshot, 6.87% of rows exceed it and only 81.13% of response markers occur before the cutoff. Code and data exist, but outputs, a pinned environment, version lineage and central dataset governance are missing.

Pregunta de investigación

¿Cómo cambia la capacidad de distintos LLM para asignar probabilidad a respuestas humanas de experimentos conductuales después de instruction tuning, entrenamiento de razonamiento o visión, en qué dominios aparece la brecha y aporta información adicional anteponer metadatos de cada participante?

Método

Psych-201 serializa sesiones completas con instrucciones, estímulos, respuestas previas, feedback y contexto; las respuestas humanas se delimitan con << >>. El test reserva por estudio un 10% de participantes, con máximo 100. Para cada checkpoint se calcula por teacher forcing la NLL total de cada span de respuesta y se agregan medias por experimento; la diferencia base/post se estandariza con una versión no pareada de d de Cohen y se promedia entre experimentos y pares. La condición de persona antepone edad, género, nacionalidad, educación, diagnóstico o cuestionarios disponibles. Esta revisión inspeccionó las 34 páginas de v2, todo el TeX, el diff v1-v2, código oficial, split, métricas, plots, repositorio, snapshot público de Hugging Face, licencias, aritmética de cobertura y reproducibilidad.

Muestra: El manuscrito informa 208.021 participantes y 25.906.599 respuestas. El train público contiene 208.021 filas, 149 estudios, 264 etiquetas de experimento y 25.924.000 marcadores <<; todas sus filas tienen in_eval=false. El propio stats.py fija 211.964 miles de participantes, mientras el código publica aparte los in_eval=true en un test gated, por lo que el texto parece reportar train como total y no documenta la correspondencia de snapshots. El test toma 10% por estudio con tope 100. La evaluación recorre múltiples tamaños y objetivos de tres linajes principales; los resultados por ejecución y tensores NLL no están publicados.

Hallazgos

Los promedios reportados son d=0,11 para instruction tuning, d=0,14 para razonamiento y d=0,07 para visión, siempre como mayor NLL respecto al comparador base seleccionado.
Qwen2.5-72B base es el modelo con menor NLL media reportada, 1,557.
La brecha media de la serie Qwen aumenta de 0,02 en Qwen2 y 0,04 en Qwen2.5 a 0,13 en Qwen3 y 0,16 en Qwen3.5.
Razonamiento y psicolingüística muestran las mayores brechas medias por dominio; el efecto aparece en todos los dominios agregados, con magnitud heterogénea.
El efecto publicado del prefijo de metadatos se mueve entre d=-0,02 y d=0,02, sin una ventaja media consistente.
Centaur mejora en tareas nuevas no usadas en su ajuste, d=0,28 y SEM=0,10, demostrando que un post-entrenamiento orientado a conducta puede ayudar.
El resultado central es un patrón descriptivo de NLL en Psych-201, no una reducción cuantificada de humanidad, personalidad o realismo social general.
El cálculo independiente sobre el train público encuentra 14.286 filas de más de 32.768 caracteres (6,87%) y 4.891.912 marcadores de respuesta después del corte; queda 81,13% antes del límite.

Limitaciones

«Human-like» se operacionaliza como NLL de respuestas en tareas convertidas a texto; no cubre parecido humano general, conversación natural, emoción, personalidad o representatividad.
Cada respuesta posterior se predice viendo las elecciones humanas previas del mismo participante; es teacher forcing secuencial, no simulación zero-shot de una persona no observada.
La NLL se suma por tokens dentro de cada respuesta, por lo que longitud y formato de respuesta afectan la comparación entre estudios.
El argumento causal de que post-training borra heurísticas no se identifica: checkpoints difieren en datos, objetivos, arquitectura y entrenamiento.
--max-seq-length=32768 corta caracteres antes de tokenizar, pese a que el repositorio documenta 32K tokens.
En el snapshot train, 18,87% de marcadores de respuesta quedan fuera del prefijo evaluable; el impacto exacto en el test gated no puede calcularse sin autorización.
El prefijo de metadatos consume el mismo límite y deja menos historia experimental a la condición persona.
eval_meta filtra a personas con metadatos; el baseline incluye a todas y plot_meta no empareja participant IDs.
En train, 15 de 149 estudios tienen cobertura parcial de metadatos; sus comparaciones quedan confundidas por composición de muestra.
El test de persona pregunta por valor incremental sobre una historia que ya contiene conducta individual, no por utilidad general de la persona.
Basta un único campo entre 25 para entrar en el análisis; se mezclan perfiles mínimos y clínicos densos sin ablations ni estratos de missingness.
d de Cohen ignora que los mismos observaciones son puntuadas por ambos modelos; no usa la covarianza de un diseño pareado.
No hay intervalos para los titulares, bootstrap por estudio, tests pareados, modelo jerárquico o corrección por multiplicidad.
Varios pares de visión no igualan tamaño ni arquitectura: 2B vs 1,7B, 32B vs 14B y Llama Vision 11B/90B vs base 8B/70B.
Los mismos Qwen3/Qwen3.5 post-entrenados se etiquetan Reasoning en Figure 2 pero instruction-tuned en Figure 3 y el texto.
El prose detallado dice casi todas las comparaciones, mientras abstract/captions sugieren consistencia universal.
El train público tiene 208.021 filas y stats.py 211.964 mil participantes; train, total y test gated no se reconcilian en una data card.
El train público contiene 25.924.000 marcadores, 17.401 más que el total de respuestas del paper incluso antes del test.
La data card de Hugging Face está vacía y no documenta versiones, fuentes, licencias, consentimiento, desidentificación o usos prohibidos.
Apache-2.0 para train y CC-BY-ND-4.0 para test no acreditan por sí solos compatibilidad de las licencias originales de 149 estudios.
Edad, nacionalidad, diagnóstico y cuestionarios de salud mental están abiertos sin una evaluación central de privacidad visible.
La revisión de contribuciones se define como ligera; una replicación no publicada incluida declara no haber obtenido IRB.
No se publican .pth, CSV fusionados ni outputs necesarios para regenerar figuras sin repetir toda la inferencia.
No hay requirements, lockfile, contenedor, comandos end-to-end, revisiones inmutables de modelos ni especificación completa de hardware.
Los scripts fuerzan modo offline/CUDA y parchean globalmente subprocess para reescribir headers PTX, reduciendo portabilidad.
Dos generadores .py fallan compileall: uno conserva !pip install de Colab y otro una continuación de línea inválida.
No hay tests, CI, fixtures de resultados o prueba de cobertura de extracción de spans para cada tokenizer.

Qué no demuestra

Que el post-training haga a los modelos menos humanos en un sentido psicológico o social general.
Que toda forma de post-training reduzca alineación conductual; Centaur aporta un contraejemplo positivo.
Que el mecanismo causal sea la corrección normativa o la eliminación de sesgos humanos.
Que instruction tuning, razonamiento y visión sean comparables como intervenciones controladas.
Que las diferencias de visión no procedan de arquitectura, modalidad o tamaño.
Que los efectos sean grandes, estadísticamente precisos o iguales entre estudios y familias.
Que la inducción de persona no sirva para predicción individual cuando se comparan exactamente las mismas personas e historias.
Que edad, género, nacionalidad y cuestionarios sean equivalentes como señales de persona.
Que un prefijo de persona no ayude en zero-shot, sin historia conductual previa o bajo otro presupuesto de contexto.
Que Psych-201 valide LLM como sustitutos seguros de participantes humanos.
Que traducir cualquier experimento a texto preserve todos los estímulos y mecanismos relevantes.
Que 208.021 sea el total completo de participantes incluyendo el test gated.
Que todas las contribuciones tengan consentimiento, privacidad y licencia compatibles con la redistribución agregada.
Que las cifras y figuras puedan reproducirse exactamente desde el repositorio en un entorno limpio.
Aceptación en Science, Nature u otra publicación revisada por pares.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.07632v2; 34-page PDF, complete v2 TeX, v1-v2 diff, official code commit c63dea18897393b706227b50024b27fa8d8907d8 and public dataset revision 5cf12dfa730bff530e45ee92e2e1c9fb24690e98

Fuente consultada: https://arxiv.org/abs/2605.07632v2

Revisión: Codex 34-page visual full-text, v1-v2 TeX, Psych-201 code, public dataset, construct, persona-comparison, truncation, statistics, ethics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

Qwen1.5, Qwen2, Qwen2.5, Qwen3 and Qwen3.5 base/post-trained checkpoints
Qwen code, vision and reasoning variants
Llama 3, 3.1 and 3.2 base, instruct and vision checkpoints
DeepSeek-R1-Distill Qwen and Llama variants
OLMo 3/3.1 base, instruct and think checkpoints
Centaur behavioral foundation model

Instrumentos y métricas

Psych-201 natural-language behavioral transcripts
Human-response span negative log-likelihood
Discrete-choice next-token accuracy
Per-experiment standardized mean difference
Interview-style participant metadata prefix
Behavioral-domain taxonomy
Prompt-template sensitivity comparison
Centaur held-out task comparison

Datos utilizados

Psych-201 public train revision 5cf12dfa730bff530e45ee92e2e1c9fb24690e98
Psych-201-test gated evaluation repository
Psych-201-discrete and gated Psych-201-discrete-test
Psych-101 tasks used for Centaur training

Evidencia y localización

Texto, figuras, métodos, disponibilidad y study list: arXiv:2605.07632v2; PDF sha256 2a809e3232944e3842cfe603e618df694b691f7f79690fc4166697ae490ebc08; TeX sha256 389699cbaf0cf3914a0e1f5c817fdd7f1695b2f42a4f1940060b33fa9f92eb4a
Evaluación, split, persona, métricas y plots oficiales: https://github.com/marcelbinz/Psych-201/tree/c63dea18897393b706227b50024b27fa8d8907d8
Filas, estudios, experimentos, cobertura de metadatos, longitudes y marcadores: https://huggingface.co/datasets/marcelbinz/Psych-201 revision 5cf12dfa730bff530e45ee92e2e1c9fb24690e98
Recalculos de truncación, comparación persona, pares de modelos, gobernanza y reproducción: reports/verification/article-346-psych201-human-likeness-persona-comparison-truncation-dataset-version-statistics-ethics-and-reproducibility-audit.json