GenPT propone evaluar agentes LLM condicionados por una persona mediante tareas proyectivas generadas, en vez de depender solo de cuestionarios directos. Los Examinees son agentes multimodales, no personas. Cada agente recibe un perfil de un personaje ficticio o de salud mental y responde a ocho escenas tipo TAT, diez láminas simétricas tipo Rorschach y veinte inicios de frase. El repositorio publica el conjunto completo declarado: 28 escenas TAT en una proporción 13/10/5, 13 imágenes para diez tarjetas y 97 frases. Un Interpreter LLM convierte las respuestas en ocho dimensiones SCORS-G, cuatro puntuaciones de un Simplified Rorschach Analysis System y cinco dominios de sentence completion; un Diagnostician del mismo backbone predice Big Five, MBTI, depresión o ideación suicida. El estudio compara Qwen3-8B, Phi-4-mini-reasoning e Intern-S1-mini como Interpreter y Diagnostician, manteniendo fijas las respuestas del Examinee. La personalidad se evalúa con 15 personajes CharacterRAG y etiquetas comunitarias de Personality Database; salud mental usa 15 perfiles AnnaAgent tomados de 1.338 perfiles derivados de D4. Como baseline, el agente responde BFI, 16Personalities, BDI-II y BSS. La validez se reduce a coincidencia exacta de etiquetas, salvo MBTI, que usa distancia Hamming de cuatro ejes. El cuestionario supera a GenPT en personalidad: Big Five 0,373 frente a 0,333/0,240/0,293 y error MBTI 0,733 frente a 1,200/2,200/1,667. En depresión, questionnaire obtiene 0,133 y GenPT 0,200/0,400/0,400; en suicidio, 0,200 frente a 0,400/0,267/0,067. Son muestras de 15: 0,400 equivale a seis aciertos y la ventaja no es uniforme, pues Intern-S1 queda por debajo del cuestionario en suicidio. Además, un predictor que siempre elige la moda de cada rasgo Big Five alcanza 0,400 sobre las 75 etiquetas publicadas, por encima de todos los métodos; el paper no informa este baseline. Las etiquetas AnnaAgent y sus distribuciones no se publican, de modo que la comparación equivalente no puede comprobarse. Para resistencia a deseabilidad social, el trabajo compara neutral con entrevista laboral y counselling confidencial mediante kappa ponderada y Directional Consistency Ratio, que solo mira la dirección entre los ítems que cambian. El cuestionario muestra en suicidio una deriva estable hacia menor riesgo: kappa 0,67/0,79 y DCR descendente 0,71/0,88. GenPT no reproduce esa combinación, pero sus kappas de riesgo están entre -0,42 y 0,05 y algunas DCR llegan a 0,82 en direcciones variables. Eso respalda ausencia de la misma firma fake-good, no fiabilidad ni ausencia general de sesgo: DCR cercana a 0,5 también puede ser ruido simétrico. En personalidad, el cuestionario conserva kappa 0,71–0,85 y GenPT solo 0,20–0,63. Con diez turnos previos de counselling, Qwen3 cambia depresión 0,80 y suicidio 0,20 frente a 0,08/0,10 del cuestionario; Phi-4 cambia 0,00/0,07 e Intern-S1 0,07/0,13. El efecto de orden de magnitud es específico de Qwen3, como reconoce el texto. La auditoría metodológica encuentra más límites. PDB son votos comunitarios sobre ficción, no ground truth psicométrico del agente; los perfiles contienen descripciones relacionadas con las etiquetas y la prueba mide recuperación de una persona asignada. No hay intervalos, repeticiones, significación, análisis por clase o sensibilidad a la selección de personas. Los dos conjuntos AnnaAgent de validez y fiabilidad solo se solapan parcialmente y el segundo se eligió entre casos con conductas ya generadas. El mismo modelo interpreta y diagnostica. Nueve expertos humanos revisan estímulos y anotan respuestas, pero no se publican etiquetas, acuerdo, asignaciones o comparación cuantitativa, aunque el apéndice las llama gold standard. La supuesta ausencia de contaminación se apoya en un ejemplo donde Gemini reconoce una imagen TAT clásica; crear estímulos nuevos reduce memorización literal, pero no demuestra que imágenes, frases, rúbricas o conceptos estén libres de entrenamiento. Adaptar TAT y Rorschach a texto generado tampoco valida equivalencia clínica. El checklist marca No en documentación de identificación, contenido ofensivo y anonimización, y N/A en reclutamiento, consentimiento y revisión ética pese a usar anotadores; esto contrasta con la afirmación genérica de anonimización del paper. El propio trabajo dice que el método oculta la intención y puede evitar filtros de alineamiento, un riesgo de perfilado encubierto no evaluado. El repositorio es un prototipo inspeccionable, no una reproducción. Compila, incluye uv.lock, construye sdist y wheel y contiene todos los estímulos y perfiles CharacterRAG. Sin embargo, faltan AnnaAgent, outputs, resultados, anotaciones humanas y agregadores de kappa, DCR y longitudinalidad. El CLI acepta modelo, API y seed pero la ejecución principal ignora esos valores, usa rutas /home/aiscuser/models y semilla 42. El prompt de depresión pide 0–4 aunque el paper usa 0–3. El evaluador de fiabilidad espera listas donde el runner escribe diccionarios y falla con AttributeError; el de validez también espera campos incompatibles. El wheel omite estímulos, personajes, cuestionarios y scripts, por lo que una instalación limpia informa cero elementos. No hay tests, CI, licencia, contenedor ni manifiesto de modelos. La contribución defendible es un diseño de investigación prometedor y un conjunto de estímulos abierto que separa framing de contexto, con evidencia preliminar de que la configuración Qwen3 puede evitar una firma direccional concreta y responder a counselling. No demuestra un instrumento psicométrico fiable, diagnóstico clínico, ausencia de contaminación o sesgo, ground truth psicológico ni reproducibilidad end-to-end.
Pregunta de investigación
¿Puede una adaptación generativa de pruebas proyectivas evaluar de forma más resistente a contaminación, framing social y contexto longitudinal la persona expresada por agentes LLM que los cuestionarios directos?