Profile-LLM: Dynamic Profile Optimization for Realistic Personality Expression in LLMs

Profile-LLM optimizes natural-language persona profiles so that an LLM more frequently selects answers associated with a requested Big Five pole. It adapts OPRO: an optimizer LLM receives the best-scoring profiles from previous iterations and produces eight new candidates per step, while a target LLM scores them on TRAIT situational questions. LLaMA-3.1-8B-Instruct plays both roles in the main study. The optimizer runs at temperature 1.2, the target uses greedy decoding, each step selects three training questions and retains three profiles. Openness, Extraversion and Neuroticism run for 25 steps, producing 200 candidates per trait; Conscientiousness and Agreeableness stop after 15 steps, producing 120, because their curves plateau earlier. The abstract twice calls the framework PersonaPulse, while the title and paper use Profile-LLM, with no explanation. The central score does not measure an internal personality. TRAIT supplies four actions per scenario, two labelled as stronger and two as weaker trait expression. The authors also generate one paraphrase per item with LLaMA-3.1-8B. Their paraphrase-sensitive score is the fraction of questions for which both original and paraphrase produce an option labelled with the target pole. This combines trait direction and repeated label selection; it does not test semantic consistency across all answers. The additional consistency ratio is asymmetric, joint successes divided by original-item successes, and the paper does not specify how a zero denominator is handled. Evaluation uses 1,000 Big Five TRAIT questions, described as 200 training and 800 test items, and 120 Machine Personality Inventory statements. On TRAIT with LLaMA-3.1-8B, Profile-LLM scores 0.846 for Openness, 0.921 for Conscientiousness, 0.719 for Extraversion, 0.786 for Agreeableness and 0.870 for Neuroticism, the highest point estimate in every row. But its margin over the strongest static prompt is highly uneven: 0.027, 0.002, 0.040, 0.003 and 0.436, respectively. The average gain is driven largely by Neuroticism; Conscientiousness and Agreeableness are near ties without intervals or repeated optimization runs. On MPI, after averaging 15 question orders, Profile-LLM scores 4.227, 4.656, 4.714, 4.717 and 4.553. It ranks first on Openness and Neuroticism and second on the other three traits; its mean is 4.573 versus 4.464 for P2 and 4.352 for the description prompt. The study itself finds a mean standard deviation of 0.439 when repeating the no-profile self-assessment under different question orders. Averaging reduces sampling variation, but Table 3 gives no method-specific dispersion and therefore does not demonstrate that Profile-LLM is more stable. Transfer is tested on LLaMA-3.2 1B/3B, Gemma 3 1B/4B/12B/27B and Mistral-7B-Instruct-v0.3, comparing the transferred profile with Profile*, newly optimized for each model. Results are heterogeneous. Profile* leads all five traits for Gemma 3 4B, but wins only some rows elsewhere, and simple static prompts match or exceed both Profile variants on several traits for Gemma 12B and 27B. This supports selective usefulness in some mid-sized settings, not an isolated causal effect of model size. Family, architecture, training, checkpoint and reported quantization treatment change together, with no controlled scaling series or statistical model. The naive checks do not resolve the mechanism: a direct instruction lowers all five Gemma 1B scores, which cannot distinguish trait knowledge from instruction following or scoring interaction; for Gemma 27B, adding 'a bit', no modifier or 'very' is clearly progressive for Extraversion, Agreeableness and Neuroticism but not for Openness or Conscientiousness. Claimed degree control comes from training-objective curves averaged over eight candidates and smoothed with a window of eight. The appendix randomly selects one retained profile at three checkpoints and asks GPT-4o for a one-sentence summary. No target level is requested, no monotonicity or calibration statistic is computed, and checkpoints are not validated on an independent scale. The evidence shows that optimization iterations change profiles and scores, not a calibrated fine-grained psychological intensity dial. Reproducibility is incomplete. The underlying TRAIT benchmark is public through pull-ups/TRAIT and mirlab/TRAIT, but this study's exact 200/800 split, paraphrases, three-question schedule, trajectories, final profiles, responses, orders, seeds and table data are not. No official Profile-LLM code or data link appears on arXiv, in the PDF or on the audited author page, and public searches did not find a related repository. Exact checkpoint identifiers, chat templates, environment and cost are also missing. The faithful conclusion is that, in one unreproducible run, prompt optimization raises option-selection scores on TRAIT and MPI and sometimes transfers across models. It does not establish realistic or human personality, superior stability, a parameter-count scaling law, calibrated psychometric control or benefits in conversation, users, education or therapy.

Profile-LLM propone optimizar perfiles de persona escritos en lenguaje natural para que un LLM elija con mayor frecuencia respuestas asociadas a un polo concreto de los Big Five. El método adapta OPRO: un LLM optimizador recibe los perfiles mejor puntuados de iteraciones anteriores y genera ocho candidatos nuevos por paso; un LLM objetivo los evalúa mediante preguntas situacionales de TRAIT. En los experimentos principales, LLaMA-3.1-8B-Instruct cumple ambos papeles. El optimizador usa temperatura 1,2, el objetivo responde de forma greedy, cada paso selecciona tres preguntas de entrenamiento y conserva tres perfiles. Apertura, extraversión y neuroticismo se optimizan durante 25 pasos, 200 candidatos por rasgo; responsabilidad y amabilidad se detienen a los 15, 120 candidatos, porque sus curvas se estabilizan antes. El abstract llama dos veces PersonaPulse al framework, pero el título y el resto del artículo usan Profile-LLM; el texto no explica esa discrepancia. La puntuación central no mide una personalidad interna. TRAIT presenta cuatro acciones por escenario, dos etiquetadas como mayor y dos como menor expresión del rasgo. Para cada ítem, los autores generan además una paráfrasis con LLaMA-3.1-8B. La métrica publicada como paraphrase-sensitive score cuenta la proporción de preguntas en las que original y paráfrasis producen ambos una opción etiquetada como el polo objetivo. Esto combina dirección del rasgo y repetición de la etiqueta; no comprueba coherencia semántica de todas las respuestas. La fórmula adicional de consistencia es asimétrica, éxitos conjuntos divididos por éxitos en el original, y el artículo no indica qué hace cuando el denominador es cero. La evaluación usa 1.000 preguntas Big Five de TRAIT, descritas como 200 de entrenamiento y 800 de test, y 120 ítems de Machine Personality Inventory. En TRAIT con LLaMA-3.1-8B, Profile-LLM obtiene 0,846 en apertura, 0,921 en responsabilidad, 0,719 en extraversión, 0,786 en amabilidad y 0,870 en neuroticismo, el mayor valor puntual de cada fila. Pero la ventaja frente al mejor prompt estático es muy desigual: 0,027, 0,002, 0,040, 0,003 y 0,436, respectivamente. El promedio mejora sobre los baselines sobre todo por neuroticismo; responsabilidad y amabilidad son prácticamente empates sin intervalos ni repetición de la optimización. En MPI, después de promediar 15 órdenes de preguntas, Profile-LLM logra 4,227, 4,656, 4,714, 4,717 y 4,553. Es primero en apertura y neuroticismo y segundo en los otros tres rasgos; su media es 4,573 frente a 4,464 de P2 y 4,352 del prompt descriptivo. El propio estudio encuentra una desviación estándar media de 0,439 al repetir el autoinforme sin perfil con órdenes distintos. Promediar reduce variación de muestreo, pero Table 3 no publica dispersión por método, por lo que no demuestra que Profile-LLM sea más estable. La transferencia se prueba en LLaMA-3.2 1B/3B, Gemma 3 1B/4B/12B/27B y Mistral-7B-Instruct-v0.3, comparando el perfil transferido con Profile*, reoptimizado para cada modelo. El resultado es heterogéneo. Profile* domina los cinco rasgos en Gemma 3 4B, pero en otros tamaños gana solo algunas filas, y en Gemma 12B/27B prompts estáticos sencillos igualan o superan a ambas variantes en varios rasgos. Esto respalda utilidad selectiva en ciertos modelos intermedios; no aísla un efecto causal del tamaño. Cambian a la vez familia, arquitectura, entrenamiento, checkpoint y tratamiento de cuantización, sin serie controlada ni análisis estadístico. Los experimentos ingenuos tampoco resuelven el mecanismo: una instrucción directa empeora los cinco scores de Gemma 1B, lo que no distingue conocimiento del rasgo de seguimiento de instrucciones o interacción con la métrica; en Gemma 27B, añadir «a bit», ningún modificador o «very» produce progresión clara en extraversión, amabilidad y neuroticismo, pero no en apertura ni responsabilidad. El supuesto control de grado se basa en curvas del objetivo de entrenamiento, promediadas entre ocho candidatos y suavizadas con ventana 8. El apéndice elige al azar un perfil retenido en tres checkpoints y pide a GPT-4o que lo resuma en una frase. No se solicitan niveles objetivo, no se calcula monotonía ni calibración y los checkpoints no se validan en una escala independiente. La evidencia muestra que las iteraciones cambian perfiles y scores, no un dial fino y predecible de intensidad psicológica. La reproducibilidad queda incompleta. El benchmark TRAIT original sí es público en pull-ups/TRAIT y mirlab/TRAIT; no lo son el split exacto 200/800 de este estudio, las paráfrasis, el calendario de tres preguntas por paso, las trayectorias, perfiles finales, respuestas, órdenes, seeds ni tablas fuente. No hay enlace oficial de código o datos de Profile-LLM en arXiv, PDF o página pública del autor, y la búsqueda pública no localizó un repositorio relacionado. Faltan además identificadores exactos de checkpoints, chat templates, entorno y coste. La conclusión fiel es que, en una ejecución no reproducible, la optimización de prompts eleva puntuaciones de selección de opciones en TRAIT y MPI y a veces transfiere entre modelos. No demuestra personalidad realista o humana, estabilidad superior, una ley de escalado por parámetros, control psicométrico fino ni mejora en conversaciones, usuarios, educación o terapia.