Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities through Open Large Language Models

Open Models, Closed Minds? compares how twelve weight-accessible language models answer personality questionnaires with no conditioning, an explicit target personality, and a target personality plus profession. It is a nine-page AAAI 2025 paper with a 39-page arXiv v3 extended version. Its observable is not an internal psychological personality: it is a set of generated questionnaire choices after self-referential instructions. For RQ0, each model describes 16 MBTI-labelled types and five BFI factors at temperature 0.01; descriptions are compared with references using word overlap and `all-mpnet-base-v2` cosine similarity. Means of 0.67 and 0.66 are interpreted as awareness, but there is no validated threshold, null control, human comparison, or contamination test. The task may simply reproduce public definitions. For RQ1, 60 items copied from 16Personalities and the 44 BFI items are presented separately in randomized order. Thirty repetitions are run at temperatures 0.01 and 0.7. At low temperature, most models collapse to one result, with ENFJ and Judging dominant. Raising temperature diversifies some models but does not show a latent personality emerging. On BFI, nearly all factors are high except Neuroticism and temperature effects are heterogeneous. For RQ2, the system prompt describes one of 16 types or requests a maximal level of one BFI factor. In four-letter classification, SOLAR has mean accuracy 0.785/0.744 at temperature 0.01/0.7; Dolphin 0.654/0.633; NeuralChat 0.577/0.498; and Llama-3-8B 0.517/0.479. Mixtral and Mistral remain near 0.06, while Vicuna, Llama-2-7B, Falcon, Gemma, and Phi-3 also show limited adaptation. This is the strongest result: compliance with this steering procedure varies sharply across checkpoints and usually worsens at higher temperature. For BFI, the paper reports percentage increase in the target factor over baseline; Neuroticism reaches +233.3% for Llama-3-8B. However, only the high pole is conditioned, off-target factor changes are not reported, and a large percentage can originate from a low baseline. Selective control of a Big Five profile is therefore not established. RQ3 adds three professions considered representative of each target. Matching sometimes improves, especially for already responsive models; ENFJ paired with teacher is easiest. The design has no role-only, mismatched-role, random-role, or factorial incremental-effect condition. The profession repeats stereotypical target information, so an independent role mechanism cannot be isolated. The mapping provenance is also not auditable: the text says a group of psychologists selected roles but supplies no count, credentials, agreement, or adjudication, while the appendix displays role categorization in prompt-like form. A major construct error concerns the categorical instrument. The 60 items and web scoring come from 16Personalities, whose official documentation identifies its assessment as NERIS Type Explorer, with five spectrums and explicit differences from Myers-Briggs. The paper calls it MBTI, omits Assertive/Turbulent, and generalizes results as though they came from the genuine instrument. The response-to-type transformation is opaque and unreleased. Reproducibility also falls short of the paper's promise. The appendices disclose prompts, items, BFI key, model labels, and detailed tables, which is a genuine strength, but raw responses, per-run scores, seeds, orders, errors, code, environment, and immutable revisions are absent. AAAI, arXiv, and the author's current publication page do not link a repository, and exact title/ID searches on GitHub find bibliographic lists only. Model names omit organizations and commits; Dolphin is 2.1 in Table 2 but Appendix I links 2.2.1. Generation parameters are internally wrong or ambiguous: `top_p=50` and `top_k=1` are reported, reversing standard defaults of `top_k=50` and `top_p=1.0`. RQ3 adds three roles, yet the stated totals of 11,520 MBTI and 3,600 BFI tests do not multiply by three; Table 7 uses tenths consistent with ten repetitions per role while the method says N=30. The exact denominator cannot be recovered. Finally, the analysis is predominantly descriptive: no intervals, model contrasts, multiplicity strategy, preregistration, power analysis, or equivalence tests are supplied. The faithful conclusion is narrower than the title: these checkpoints show different questionnaire response styles and different compliance with explicit personality steering. Many resist this prompt and four adapt better. The study does not establish intrinsic personality, psychological closed-mindedness, or a footprint identity. Open scoring, raw outputs, fixed versions, seeds, convergent and behavioral psychometrics, spillover controls, retest, role ablations, and human/anti-stereotype validation are needed.

Open Models, Closed Minds? compara cómo doce modelos de pesos accesibles contestan cuestionarios de personalidad sin condicionamiento, con una personalidad explícita y con personalidad más profesión. El trabajo es un paper de AAAI 2025 de nueve páginas y dispone de una versión arXiv v3 extendida a 39 páginas. Su objeto observable no es una personalidad psicológica interna: son elecciones de respuesta producidas tras instrucciones autorreferenciales. Para RQ0, cada modelo describe 16 tipos etiquetados como MBTI y cinco factores BFI a temperatura 0,01; las descripciones se comparan con referencias mediante solapamiento léxico y coseno de `all-mpnet-base-v2`. Los promedios 0,67 y 0,66 se interpretan como awareness, pero no hay umbral validado, control nulo, comparación humana ni prueba de contaminación: la tarea puede resolverse reproduciendo definiciones públicas. Para RQ1, se presentan por separado y en orden aleatorio 60 ítems copiados de 16Personalities y los 44 ítems BFI. Se ejecutan 30 repeticiones a temperaturas 0,01 y 0,7. A baja temperatura, la mayoría de modelos colapsa en un único resultado, con ENFJ y la preferencia J dominantes; subir temperatura diversifica algunos modelos, pero no demuestra que aparezca una personalidad latente. En BFI, casi todos obtienen factores altos salvo Neuroticismo y el efecto térmico es heterogéneo. Para RQ2, el system prompt describe uno de 16 tipos o pide exhibir al máximo un factor BFI. En la clasificación de cuatro letras, SOLAR obtiene accuracy media 0,785/0,744 a temperatura 0,01/0,7; Dolphin 0,654/0,633; NeuralChat 0,577/0,498; Llama-3-8B 0,517/0,479. Mixtral y Mistral quedan alrededor de 0,06; Vicuna, Llama-2-7B, Falcon, Gemma y Phi-3 también muestran adaptación limitada. Este es el resultado más sólido: la obediencia a este procedimiento de steering varía mucho entre checkpoints y suele empeorar al aumentar temperatura. En BFI se informa el porcentaje de subida del factor objetivo respecto al baseline; Neuroticismo llega a +233,3 % para Llama-3-8B. Sin embargo, solo se condiciona el polo alto, no se publican cambios en factores no objetivo y una gran subida porcentual puede partir de una base baja. Por eso no se demuestra control selectivo de un perfil Big Five. Para RQ3 se añaden tres profesiones consideradas representativas de cada target. A veces aumenta el match, sobre todo en modelos ya sensibles; ENFJ asociado a teacher es el caso más fácil. El diseño carece de condición role-only, profesiones incompatibles o aleatorias y análisis factorial del incremento. La profesión repite información estereotípica del target, así que no puede aislarse un mecanismo propio del rol. Además, la procedencia de esas asignaciones no es verificable: el texto dice que las eligió un grupo de psicólogos, pero no informa cuántos, credenciales, acuerdo o adjudicación, y el anexo presenta la categorización con formato de prompt. Hay un error constructivo mayor: los 60 ítems y el scoring proceden de 16Personalities. La documentación oficial de ese sitio identifica su instrumento como NERIS Type Explorer, con cinco espectros y diferencias explícitas respecto a Myers-Briggs. El paper lo llama MBTI, omite la dimensión Assertive/Turbulent y generaliza sus resultados como si fueran del instrumento genuino. La transformación de respuestas a tipo es opaca y no se publica. La reproducibilidad tampoco alcanza la promesa del paper. Los anexos revelan prompts, ítems, claves BFI, modelos y tablas, una fortaleza real, pero faltan respuestas crudas, scores por ejecución, seeds, órdenes, errores, código, environment y revisiones inmutables. AAAI, arXiv y la web actual del autor no enlazan repositorio, y las búsquedas exactas por título/ID en GitHub solo localizaron bibliografías. Los nombres de modelo carecen de organización y commit; Dolphin aparece como 2.1 en Table 2 pero el anexo enlaza 2.2.1. Los parámetros también son internamente erróneos o ambiguos: se declara `top_p=50` y `top_k=1`, al revés de los defaults estándar `top_k=50` y `top_p=1.0`. RQ3 añade tres roles, pero el total 11.520 MBTI y 3.600 BFI no multiplica por tres; Table 7 usa décimas compatibles con diez repeticiones por rol mientras el método afirma N=30. No se puede reconstruir el denominador exacto. Finalmente, casi todo el análisis es descriptivo: no hay intervalos, contrastes entre modelos, multiplicidad, preregistro, power analysis ni equivalencia. La conclusión fiel es más limitada que el título: estos checkpoints muestran estilos de respuesta y grados de obediencia distintos ante un steering explícito basado en cuestionarios. Muchos resisten este prompt y cuatro se adaptan mejor. El estudio no establece personalidad intrínseca, closed-mindedness psicológica ni footprint identity. Para sostenerlo harían falta scoring abierto, outputs crudos, versiones fijas, seeds, psicometría convergente y conductual, controles de spillover, retest, ablation de roles y validación humana contra estereotipos.