Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Kensuke Okada, Yui Furukawa, Kyosuke Bunji

Palabras clave: Personality, Persona conditioning, Psychometrics, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
14
Hallazgos
34
Limitaciones
6
Evidencias

Resumen editorial

Español

El artículo estudia la respuesta socialmente deseable inducida en cuestionarios de personalidad para LLM y propone mitigarla con un formato graded forced-choice (GFC). A partir de 100 marcadores Big Five de IPIP, GPT-5 y Gemini 2.5 Pro realizan 30 valoraciones de deseabilidad por ítem; tras excluir dos ítems sobre votar, una optimización selecciona 30 pares entre dominios y 60 ítems únicos con deseabilidad muy próxima. Cincuenta perfiles sintéticos se generan como vectores Big Five correlacionados, se discretizan en estaninos y se verbalizan mediante adjetivos explícitos. Nueve modelos responden bajo instrucciones HONEST y FAKE-GOOD, tanto a 60 ítems Likert como a 30 pares GFC. Cada ítem o par constituye una llamada independiente que vuelve a incluir el perfil completo; no es una sesión continua ni una personalidad observada espontáneamente.

Los datos liberados contienen 54.000 respuestas Likert completas y 26.999 de las 27.000 GFC previstas. En los 45 cruces modelo×rasgo, los efectos Likert corregidos hacia la dirección socialmente deseable son siempre positivos, entre d=0,628 y 1,695, con media 1,116. GFC reduce con fuerza esa tendencia: sus efectos van de -0,917 a 0,666, la media con signo es -0,089 y la media absoluta 0,298. La recuperación honesta del perfil, correlacionada con el z continuo generado por los autores, es mayor en Likert (medias por modelo 0,866-0,947) que en GFC (0,420-0,695). La contribución defendible es mostrar que el emparejamiento por deseabilidad y la comparación forzada atenúan el desplazamiento promedio en la dirección de quedar bien, aunque sacrifican información y no mantienen invariable cada rasgo.

La auditoría identifica límites importantes que la agregación principal oculta. La Figura 4 promedia los cinco efectos con signo antes de aplicar umbrales absolutos: en GPT-5, por ejemplo, A=0,462 y C=0,360 se cancelan con N=-0,388 y O=-0,873, produciendo una media de -0,058 que aparece como prácticamente despreciable pese a cambios grandes del perfil. GPT-5 mini alcanza -0,917 en N y Gemini 2.5 Pro -0,755 en O. Los modelos IRT agrupan los nueve modelos y ambas condiciones con parámetros de ítem compartidos, sin probar invariancia o funcionamiento diferencial. Además, el GRM Likert conserva 245 parámetros con Rhat>1,01 -máximo 1,0348 y ESS bulk mínimo 115,55-, aunque el manuscrito solo dice que se monitorizó la convergencia y el pipeline continúa con medias posteriores. Los tests, correlaciones e intervalos gráficos tratan esas medias theta como observaciones sin error y no propagan incertidumbre posterior.

La única respuesta GFC supuestamente ausente de Claude Sonnet está realmente en el CSV bruto publicado y termina en el valor válido 3; un derivado desfasado la convierte en NA, el reintento quedó sin recuperar y el análisis elimina los cinco theta de esa persona-condición. El OSF es amplio -código R/Stan, datos, estados, modelos ajustados, diagnósticos y figuras- y las figuras revisadas coinciden por hash con arXiv v2, pero el proyecto no está registrado ni congelado, carece de licencia de nodo y no fija versiones de R, paquetes o CmdStan. OpenAI y Gemini se llamaron mediante aliases y defaults del proveedor, sin acreditar los snapshots inmutables que sugiere la tabla del paper. El trabajo apoya GFC como mitigación prometedora en este diseño explícito y sintético; no demuestra ausencia general de sesgo, preservación completa del perfil, personalidad estable, SDR espontánea ni validez psicométrica transversal entre modelos, culturas o despliegues.

English

The paper studies instructed socially desirable responding in LLM personality questionnaires and proposes a graded forced-choice (GFC) mitigation. Starting from 100 public-domain IPIP Big Five markers, GPT-5 and Gemini 2.5 Pro each provide 30 desirability ratings per item; after two voting items are excluded, optimization selects 30 cross-domain pairs containing 60 unique items with closely matched desirability. Fifty correlated synthetic Big Five vectors are discretized into stanines and verbalized through explicit adjective profiles. Nine models answer under HONEST and FAKE-GOOD instructions in both a 60-item Likert format and a 30-pair GFC format. Every item or pair is a separate API call that repeats the entire profile, rather than a continuous questionnaire session or spontaneously observed personality.

The released data contain 54,000 complete Likert responses and 26,999 of 27,000 expected GFC responses. Across the 45 model-by-trait cells, every desirability-direction-corrected Likert effect is positive, ranging from d=0.628 to 1.695 with mean 1.116. GFC sharply reduces that tendency: effects range from -0.917 to 0.666, with signed mean -0.089 and mean absolute effect 0.298. Honest profile recovery against the authors' continuous generated z target is higher for Likert (model means 0.866-0.947) than GFC (0.420-0.695). The defensible contribution is evidence that desirability matching and comparative judgment attenuate the average shift toward looking good, while losing information and not making each trait invariant.

The audit finds important limitations hidden by the main aggregation. Figure 4 averages the five signed trait effects before applying absolute practical thresholds: for GPT-5, A=0.462 and C=0.360 cancel against N=-0.388 and O=-0.873, yielding a -0.058 mean labeled practically negligible despite large profile changes. GPT-5 mini reaches -0.917 on N and Gemini 2.5 Pro -0.755 on O. The IRT models pool all nine models and both conditions under shared item parameters without testing measurement invariance or differential item functioning. The Likert GRM also retains 245 parameters above the declared Rhat 1.01 threshold, with maximum 1.0348 and minimum bulk ESS 115.55, although the manuscript only says convergence was monitored and the pipeline proceeds to posterior means. Tests, correlations and plotted intervals then treat those theta means as error-free observations rather than propagating posterior uncertainty.

The sole allegedly missing Claude Sonnet GFC answer is actually present in the published raw CSV and ends in the valid value 3; a stale derivative turns it into NA, the retry was never retrieved and the analysis removes all five theta values for that persona-condition. The OSF release is broad -R/Stan code, data, provider states, fitted models, diagnostics and figures- and its revised figures hash-match arXiv v2, but the project is unregistered and mutable, has no node license and does not freeze R, package or CmdStan versions. OpenAI and Gemini were called through provider aliases and defaults without released proof of the immutable snapshots suggested by the paper's table. The study supports GFC as a promising mitigation in this explicit synthetic design; it does not establish general absence of bias, full profile preservation, stable personality, spontaneous SDR or cross-model, cross-cultural and deployment-level psychometric validity.

Pregunta de investigación

¿Cuánto distorsiona una instrucción explícita de presentarse favorablemente los perfiles Big Five estimados en nueve LLM, y puede un inventario GFC de pares equiparados por deseabilidad reducir ese desplazamiento sin perder la señal del perfil sintético indicado en el prompt?

Método

Se valoran 100 ítems IPIP en deseabilidad mediante 30 réplicas de GPT-5 y Gemini 2.5 Pro; se excluyen dos ítems y una optimización entera selecciona 30 pares entre dominios, 60 ítems únicos y diferencias de deseabilidad pequeñas. Se generan 50 vectores Big Five correlacionados, se transforman en estaninos y descripciones explícitas, y se reutilizan para nueve modelos. El diseño cruza HONEST/FAKE-GOOD con Likert de 60 respuestas y GFC de 30 comparaciones, enviando cada ítem/par en una llamada independiente. Un GRM y un modelo Thurstoniano ordinal, ajustados por formato y agrupando modelos/condiciones, producen theta posteriores. Se calculan d_z pareados por rasgo y modelo, tests t con corrección Bonferroni y correlaciones entre theta honesto y el z continuo de la persona.

Muestra: El diseño usa 50 personas sintéticas comunes a nueve modelos, dos condiciones y dos formatos. Se esperaban 81.000 llamadas independientes: 54.000 Likert y 27.000 GFC. Se publican las 54.000 Likert y 26.999 GFC; una respuesta Claude Sonnet fue marcada como ausente en un derivado aunque existe y es válida en el raw. Los efectos se calculan sobre 50 pares HONEST/FAKE-GOOD por modelo y rasgo, excepto las cinco celdas GFC de Claude Sonnet que quedan con 49 pares tras excluir por completo una persona-condición.

Hallazgos

  • Los 45 efectos Likert corregidos por dirección son positivos, entre 0,628 y 1,695, con media 1,116.
  • Los efectos GFC van de -0,917 a 0,666; su media con signo es -0,089 y su media absoluta 0,298.
  • El paper reporta los 45 efectos Likert y solo 4 de 45 GFC como significativos al 1 %.
  • La correlación media por modelo con z continuo está entre 0,866 y 0,947 en Likert y 0,420 y 0,695 en GFC.
  • La correlación con el estanino realmente verbalizado supera sistemáticamente a la correlación con z en 0,015-0,035.
  • GFC atenúa con claridad el desplazamiento promedio hacia la dirección socialmente deseable, pero no elimina cambios grandes por rasgo.
  • GPT-5 GFC tiene media firmada -0,058, media absoluta 0,446 y efecto máximo absoluto 0,873.
  • GPT-5 mini GFC tiene media firmada -0,183, media absoluta 0,514 y efecto máximo absoluto 0,917.
  • Gemini 2.5 Pro GFC tiene media firmada -0,072, media absoluta 0,432 y efecto máximo absoluto 0,755.
  • Las 30 parejas publicadas alcanzan diferencia máxima de deseabilidad 0,18 y media aproximada 0,03 según la solución liberada.
  • El GRM tiene 245 parámetros con Rhat>1,01, máximo 1,034786; el modelo GFC no tiene parámetros por encima del umbral.
  • La única respuesta considerada ausente está presente en raw_anthropic_main.csv y puede parsearse como 3.
  • Las figuras OSF revisadas coinciden por hash con las incluidas en la fuente arXiv v2.
  • La evidencia central describe cumplimiento diferencial de una instrucción explícita, no personalidad o deseabilidad espontánea.

Limitaciones

  • FAKE-GOOD ordena explícitamente dar una buena impresión; no prueba SDR espontánea bajo evaluación implícita.
  • Cada ítem o par es una llamada independiente y repite la persona completa, no una sesión continua de cuestionario.
  • Los perfiles enumeran explícitamente los cinco rasgos; la recuperación mide seguimiento del prompt, no personalidad estable.
  • El supuesto ground truth es una construcción sintética de los autores, no conducta o rasgo humano observado.
  • El modelo recibe estaninos verbalizados, pero la recuperación principal se correlaciona con los z continuos no mostrados.
  • Likert obtiene 60 respuestas y GFC 30 comparaciones; no se igualan número de respuestas ni información del test.
  • Los modelos IRT comparten parámetros de ítem entre nueve modelos y dos condiciones sin prueba de invariancia.
  • No se evalúa funcionamiento diferencial de ítems por proveedor, capacidad, modelo o condición.
  • HONEST y FAKE-GOOD se tratan como unidades separadas en IRT; la dependencia por persona solo reaparece al calcular efectos.
  • Los análisis posteriores usan medias theta y omiten su incertidumbre posterior.
  • Los intervalos de la Figura 2 son errores estándar ordinarios de medias theta, no intervalos posteriores completos.
  • El GRM usa solo 200 iteraciones de warmup y conserva 245 parámetros por encima del Rhat declarado.
  • El manuscrito no cuantifica ni discute esos 245 incumplimientos de convergencia.
  • La Figura 4 promedia efectos firmados y permite que cambios positivos y negativos se cancelen.
  • Aplicar |d| después de promediar signos no garantiza que cada rasgo tenga cambio despreciable.
  • Los umbrales verde/amarillo/rojo no están validados como criterios de decisión para perfiles sintéticos de LLM.
  • No se ejecutan tests de equivalencia que sustenten la etiqueta prácticamente despreciable.
  • El benchmark humano procede de otra metaanálisis e instrumentos no equiparados y es solo descriptivo.
  • La validación humana de deseabilidad usa adjetivos distintos, no los 98 enunciados IPIP que se emparejan.
  • GPT y Gemini participan en la construcción de pares y luego sus familias se evalúan con esos mismos pares.
  • Una respuesta bruta válida se pierde por drift entre raw y parsed y provoca la exclusión de cinco theta.
  • El estado de reintento de esa respuesta quedó in_progress y expiró sin resultado recuperado.
  • Los aliases gpt-5 y Gemini no congelan una revisión de serving ni permiten acreditar todos los snapshots de la tabla.
  • No se fijan temperatura, top-p o seed de generación; se usan defaults de proveedor.
  • La recogida comercial puede variar con el tiempo y cuesta 81.000 llamadas para una réplica completa.
  • El OSF no está registrado y puede modificarse después de la revisión.
  • El nodo OSF no declara licencia y el README no licencia por separado código y datos.
  • No hay lockfile, versiones de paquetes, sessionInfo, versión CmdStan, contenedor o captura del sistema.
  • La muestra es de 50 perfiles sintéticos y nueve modelos; la incertidumbre sobre generalización entre modelos es limitada.
  • Solo se estudia Big Five en inglés con una selección concreta de 60 ítems.
  • No se valida el instrumento con humanos que respondan los mismos pares bajo el mismo modelo de scoring.
  • No se prueban idiomas, culturas, inventarios, perfiles narrativos, conversaciones largas ni despliegues reales.
  • La interpretación de efectos contrarios a la deseabilidad como menor sesgo puede ocultar otra forma de distorsión.
  • La asociación con seguridad, fairness o value surveys se propone como aplicación, pero no se prueba empíricamente.

Qué no demuestra

  • No establece que los modelos posean personalidad Big Five estable, interna o humana.
  • No establece SDR espontánea ni detección autónoma de un contexto evaluativo.
  • No establece que GFC elimine sesgo o preserve todos los rasgos del perfil.
  • No justifica que todo punto de la zona verde de la Figura 4 sea una opción recomendada.
  • No establece invariancia de medida o ausencia de DIF entre modelos y condiciones.
  • No demuestra convergencia satisfactoria del GRM con el umbral declarado.
  • No incorpora la incertidumbre posterior a efectos, tests, correlaciones o intervalos.
  • No demuestra que z continuo sea el ground truth visible para el modelo.
  • No establece equivalencia psicométrica con humanos ni con la metaanálisis usada como referencia.
  • No prueba validez para otros rasgos, inventarios, idiomas, culturas o interfaces.
  • No prueba utilidad o seguridad en selección, salud mental, educación, fairness o decisiones de alto impacto.
  • No congela de forma inequívoca los modelos OpenAI/Gemini, dependencias ni configuración de generación.
  • No permite una réplica exacta, gratuita y determinista de las 81.000 llamadas.
  • No convierte el cumplimiento de perfiles explícitos en evidencia de comportamiento persistente fuera del prompt.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2602.17262v2, revised 2026-04-28, CC BY 4.0; full OSF project 2e6ny inspected

Fuente consultada: https://arxiv.org/abs/2602.17262

Revisión: Codex 19-page visual full-text, arXiv source, complete OSF archive, raw-call reconciliation, R/Stan, IRT, convergence, measurement-invariance, signed-cancellation, artifact and claim audit, 2026-07-18

Aprobación: Codex fidelity pass, 2026-07-18

Modelos evaluados

  • gpt-5, alias del proveedor; la resolución al snapshot 2025-08-07 no aparece en los datos brutos
  • gpt-5-mini, alias del proveedor; la resolución al snapshot 2025-08-07 no aparece en los datos brutos
  • gpt-5-nano, alias del proveedor; la resolución al snapshot 2025-08-07 no aparece en los datos brutos
  • gemini-2.5-pro
  • gemini-2.5-flash
  • gemini-2.5-flash-lite
  • claude-opus-4-5-20251101
  • claude-sonnet-4-5-20250929
  • claude-haiku-4-5-20251001

Instrumentos y métricas

  • 100 marcadores Big Five de IPIP, reducidos a 98 tras excluir dos ítems sobre votar
  • Valoración LLM de deseabilidad social en escala 1-9
  • Optimización mixta entera en dos etapas para seleccionar pares
  • Inventario Likert de 60 ítems y siete puntos
  • Inventario graded forced-choice de 30 pares y siete puntos
  • Cincuenta perfiles Big Five Gaussianos transformados en estaninos y frases adjetivales
  • Instrucciones explícitas HONEST y FAKE-GOOD
  • Graded Response Model bayesiano para Likert
  • Modelo Thurstoniano ordinal bayesiano para GFC
  • Cohen d_z corregido por dirección, tests t pareados y Bonferroni sobre 90 celdas
  • Correlación de Pearson entre theta honesto y z/estanino de la persona
  • Benchmark humano descriptivo importado de la metaanálisis de Speer et al. (2023)

Datos utilizados

  • 54.000 respuestas Likert publicadas: 6.000 por cada uno de nueve modelos
  • 26.999 respuestas GFC publicadas: 3.000 por modelo salvo 2.999 para Claude Sonnet
  • persona_theta_long.csv: 8.995 medias theta de modelo, formato, condición, persona y rasgo
  • rhat_grm_over_1.01.csv: 245 parámetros GRM por encima del umbral declarado
  • rhat_fc_over_1.01.csv: ningún parámetro GFC por encima de 1,01
  • Resultados de 6.000 valoraciones de deseabilidad realizadas por GPT-5 y Gemini 2.5 Pro
  • Solución publicada de 30 pares y metadatos de 60 ítems
  • Estados y CSV brutos de 81.000 solicitudes esperadas a tres proveedores
  • Archivo OSF 2e6ny de 176 ficheros, sha256 af406ddae238b3984bede3a509a562e0e24d4a599ef07fdf36fd3df318ac8f87
  • Fuentes TeX y figuras de arXiv:2602.17262v2

Evidencia y localización

  • Diseño, teoría, resultados, figuras, apéndices, limitaciones, ética y asistencia de IA: arXiv:2602.17262v2, all 19/19 PDF pages rendered and individually inspected
  • Código R/Stan, datos, estados de proveedores, ajustes, diagnósticos, figuras y README: Official public OSF project 2e6ny, complete 176-file archive downloaded and hash-validated
  • Versión, fechas, autoría, licencia y correspondencia de figuras revisadas: Official arXiv abstract, Atom metadata and v2 TeX/source archive inspected 2026-07-18
  • Reproducción de d_z, recuperación con z/estaninos y cancelación firmada versus absoluta: Independent recomputation from OSF persona_theta_long.csv sha256 1e0e77bb881961818d3e6df5a890a26955c7b5b526cba2ed8c0aa06eef9cc4b4
  • Respuesta Claude Sonnet recuperable y drift entre archivos raw, parsed, best y estado de refit: OSF raw_anthropic_main.csv, raw_anthropic_main_parsed.csv, fc7_calls_raw.csv and state_anthropic_refit01.json inspected for req_id fc7_s49_honest_b29
  • Auditoría de convergencia, invariancia, incertidumbre, agregación, artefacto, licencia y límites: reports/verification/article-399-sdr-gfc-irt-measurement-invariance-signed-cancellation-convergence-artifact-and-claim-audit.json