GenPT: Beyond Self-Report for Reliable LLM Psychometrics via Generative Projective Testing

GenPT proposes evaluating persona-conditioned LLM agents through newly generated projective tasks rather than relying only on direct questionnaires. Examinees are multimodal agents, not people. Each receives a fictional-character or mental-health profile and answers eight TAT-like scenes, ten Rorschach-like cards, and twenty sentence stems. The repository contains the full reported pool: twenty-eight TAT scenes in a 13/10/5 split, thirteen images representing ten cards, and ninety-seven stems. An LLM Interpreter maps responses to eight SCORS-G dimensions, four Simplified Rorschach Analysis System scores, and five sentence-completion domains; a Diagnostician using the same backbone predicts Big Five, MBTI, depression, or suicide ideation. Qwen3-8B, Phi-4-mini-reasoning, and Intern-S1-mini are compared as Interpreter and Diagnostician while Examinee outputs are fixed. Personality uses fifteen CharacterRAG characters with community labels from Personality Database; mental health uses fifteen AnnaAgent profiles sampled from 1,338 D4-derived profiles. Baselines have the role-playing agent answer BFI, 16Personalities, BDI-II, and BSS. Criterion validity is exact label match except for four-axis MBTI Hamming distance. Questionnaires outperform GenPT on personality: Big Five is .373 versus .333/.240/.293 and MBTI error is .733 versus 1.200/2.200/1.667. On depression, questionnaire accuracy is .133 and GenPT is .200/.400/.400; on suicide, .200 versus .400/.267/.067. These are samples of fifteen: .400 is six exact matches, and the advantage is not uniform because Intern-S1 is worse than the questionnaire on suicide. A trivial predictor choosing the released modal value for each Big Five trait reaches .400 across seventy-five labels, above every reported method, but the paper does not report it. AnnaAgent labels and class distributions are withheld, preventing the same check for risk tasks. Social-desirability experiments compare neutral prompts with job-interview and confidential-counselling framing using weighted kappa and Directional Consistency Ratio, which conditions only on changed items. Questionnaire suicide labels show a stable downward shift: kappa .67/.79 and downward DCR .71/.88. GenPT does not reproduce that joint signature, but its risk kappas range from -.42 to .05 and some DCRs reach .82 in varying directions. This supports absence of the same fake-good pattern, not reliability or general lack of bias; DCR near .5 can also be symmetric noise. Questionnaire trait kappas are .71-.85 versus .20-.63 for GenPT. With ten prior counselling turns, Qwen3 shifts depression .80 and suicide .20 versus questionnaire .08/.10; Phi-4 shifts .00/.07 and Intern-S1 .07/.13. The order-of-magnitude effect is Qwen3-specific, as the paper acknowledges. Further methodological limits matter. PDB consists of community votes about fictional characters, not psychometric ground truth for the assessed agent; profiles include descriptions related to labels, so the task measures recovery of an assigned persona. There are no intervals, repeated runs, significance tests, class analysis, or persona-selection sensitivity. The validity and reliability AnnaAgent subsets only partially overlap, and the latter was selected from cases with pre-generated behaviors available. The same model interprets and diagnoses. Nine human experts review stimuli and annotate responses, but labels, assignments, agreement, and quantitative comparison are absent even though the appendix calls them a gold standard. The contamination-free claim rests on an illustrative Gemini response recognizing one traditional TAT image. New stimuli reduce literal item memorization but do not prove that images, stems, rubrics, or concepts were absent from training. Adapting TAT and Rorschach to generated language also does not validate clinical equivalence. The checklist answers No on documenting identifying/offensive-content and anonymization procedures and N/A on recruitment, consent, and ethics review despite human annotators, in tension with the paper's generic anonymization claim. The paper explicitly says the method masks assessment intent and can bypass alignment filters, creating an unevaluated covert-profiling risk. The repository is inspectable but not a reproduction. It compiles, contains uv.lock, builds sdist and wheel, and publishes all stimuli and CharacterRAG profiles. Yet AnnaAgent data, outputs, results, human annotations, and kappa/DCR/longitudinal aggregators are absent. The CLI accepts model, API, and seed controls but the main runner ignores them, uses /home/aiscuser/models paths, and hard-codes seed 42. Its depression prompt asks for 0-4 although the paper uses 0-3. Reliability evaluation expects lists where the runner emits dictionaries and fails with AttributeError; validity code also expects incompatible fields. The wheel omits stimuli, characters, questionnaires, and scripts, so a clean installation reports zero loaded items. Tests, CI, license, container, and model manifest are missing. The defensible contribution is a promising research design and open stimulus set that separates framing from context, with preliminary evidence that the Qwen3 configuration can avoid one directional signature and respond to counselling. It does not establish a reliable psychometric instrument, clinical diagnosis, freedom from contamination or bias, psychological ground truth, or end-to-end reproducibility.

GenPT propone evaluar agentes LLM condicionados por una persona mediante tareas proyectivas generadas, en vez de depender solo de cuestionarios directos. Los Examinees son agentes multimodales, no personas. Cada agente recibe un perfil de un personaje ficticio o de salud mental y responde a ocho escenas tipo TAT, diez láminas simétricas tipo Rorschach y veinte inicios de frase. El repositorio publica el conjunto completo declarado: 28 escenas TAT en una proporción 13/10/5, 13 imágenes para diez tarjetas y 97 frases. Un Interpreter LLM convierte las respuestas en ocho dimensiones SCORS-G, cuatro puntuaciones de un Simplified Rorschach Analysis System y cinco dominios de sentence completion; un Diagnostician del mismo backbone predice Big Five, MBTI, depresión o ideación suicida. El estudio compara Qwen3-8B, Phi-4-mini-reasoning e Intern-S1-mini como Interpreter y Diagnostician, manteniendo fijas las respuestas del Examinee. La personalidad se evalúa con 15 personajes CharacterRAG y etiquetas comunitarias de Personality Database; salud mental usa 15 perfiles AnnaAgent tomados de 1.338 perfiles derivados de D4. Como baseline, el agente responde BFI, 16Personalities, BDI-II y BSS. La validez se reduce a coincidencia exacta de etiquetas, salvo MBTI, que usa distancia Hamming de cuatro ejes. El cuestionario supera a GenPT en personalidad: Big Five 0,373 frente a 0,333/0,240/0,293 y error MBTI 0,733 frente a 1,200/2,200/1,667. En depresión, questionnaire obtiene 0,133 y GenPT 0,200/0,400/0,400; en suicidio, 0,200 frente a 0,400/0,267/0,067. Son muestras de 15: 0,400 equivale a seis aciertos y la ventaja no es uniforme, pues Intern-S1 queda por debajo del cuestionario en suicidio. Además, un predictor que siempre elige la moda de cada rasgo Big Five alcanza 0,400 sobre las 75 etiquetas publicadas, por encima de todos los métodos; el paper no informa este baseline. Las etiquetas AnnaAgent y sus distribuciones no se publican, de modo que la comparación equivalente no puede comprobarse. Para resistencia a deseabilidad social, el trabajo compara neutral con entrevista laboral y counselling confidencial mediante kappa ponderada y Directional Consistency Ratio, que solo mira la dirección entre los ítems que cambian. El cuestionario muestra en suicidio una deriva estable hacia menor riesgo: kappa 0,67/0,79 y DCR descendente 0,71/0,88. GenPT no reproduce esa combinación, pero sus kappas de riesgo están entre -0,42 y 0,05 y algunas DCR llegan a 0,82 en direcciones variables. Eso respalda ausencia de la misma firma fake-good, no fiabilidad ni ausencia general de sesgo: DCR cercana a 0,5 también puede ser ruido simétrico. En personalidad, el cuestionario conserva kappa 0,71–0,85 y GenPT solo 0,20–0,63. Con diez turnos previos de counselling, Qwen3 cambia depresión 0,80 y suicidio 0,20 frente a 0,08/0,10 del cuestionario; Phi-4 cambia 0,00/0,07 e Intern-S1 0,07/0,13. El efecto de orden de magnitud es específico de Qwen3, como reconoce el texto. La auditoría metodológica encuentra más límites. PDB son votos comunitarios sobre ficción, no ground truth psicométrico del agente; los perfiles contienen descripciones relacionadas con las etiquetas y la prueba mide recuperación de una persona asignada. No hay intervalos, repeticiones, significación, análisis por clase o sensibilidad a la selección de personas. Los dos conjuntos AnnaAgent de validez y fiabilidad solo se solapan parcialmente y el segundo se eligió entre casos con conductas ya generadas. El mismo modelo interpreta y diagnostica. Nueve expertos humanos revisan estímulos y anotan respuestas, pero no se publican etiquetas, acuerdo, asignaciones o comparación cuantitativa, aunque el apéndice las llama gold standard. La supuesta ausencia de contaminación se apoya en un ejemplo donde Gemini reconoce una imagen TAT clásica; crear estímulos nuevos reduce memorización literal, pero no demuestra que imágenes, frases, rúbricas o conceptos estén libres de entrenamiento. Adaptar TAT y Rorschach a texto generado tampoco valida equivalencia clínica. El checklist marca No en documentación de identificación, contenido ofensivo y anonimización, y N/A en reclutamiento, consentimiento y revisión ética pese a usar anotadores; esto contrasta con la afirmación genérica de anonimización del paper. El propio trabajo dice que el método oculta la intención y puede evitar filtros de alineamiento, un riesgo de perfilado encubierto no evaluado. El repositorio es un prototipo inspeccionable, no una reproducción. Compila, incluye uv.lock, construye sdist y wheel y contiene todos los estímulos y perfiles CharacterRAG. Sin embargo, faltan AnnaAgent, outputs, resultados, anotaciones humanas y agregadores de kappa, DCR y longitudinalidad. El CLI acepta modelo, API y seed pero la ejecución principal ignora esos valores, usa rutas /home/aiscuser/models y semilla 42. El prompt de depresión pide 0–4 aunque el paper usa 0–3. El evaluador de fiabilidad espera listas donde el runner escribe diccionarios y falla con AttributeError; el de validez también espera campos incompatibles. El wheel omite estímulos, personajes, cuestionarios y scripts, por lo que una instalación limpia informa cero elementos. No hay tests, CI, licencia, contenedor ni manifiesto de modelos. La contribución defendible es un diseño de investigación prometedor y un conjunto de estímulos abierto que separa framing de contexto, con evidencia preliminar de que la configuración Qwen3 puede evitar una firma direccional concreta y responder a counselling. No demuestra un instrumento psicométrico fiable, diagnóstico clínico, ausencia de contaminación o sesgo, ground truth psicológico ni reproducibilidad end-to-end.