Mimetic Alignment with ASPECT: Evaluation of AI-inferred Personal Profiles

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Ruoxi Shang, Dan Marshall, Edward Cutrell, Denae Ford

Palabras clave: Persona conditioning, Psychometrics

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
8
Hallazgos
17
Limitaciones
7
Evidencias

Resumen editorial

Español

ASPECT usa OpenAI o1 para buscar evidencia en 90 días de reuniones y mensajes de trabajo, puntuar 92 ítems del Communication Styles Inventory y mostrar al usuario un perfil revisable con citas. En 20 empleados de una sola organización, el perfil inicial coincide de forma modesta con el autoinforme: 23,8% exacto, MAE 1,39, kappa ponderado 0,34 y correlación media intrapersona 0,39. En 200 tríadas de respuestas a escenarios hipotéticos, la condición Profiled queda primera 42,5% de las veces, frente a 32,5% Generic y 25% Self-Report; las valoraciones medias son 3,33, 3,09 y 2,95 sobre cinco. Solo Profiled frente a Self-Report es significativo en rangos; frente a Generic, el modelo mixto estima una mejora pequeña de 0,24 puntos con p=0,045 y gran heterogeneidad individual. El diseño no permite atribuirla al perfil psicométrico porque Profiled recibe además fragmentos de evidencia conductual, y nunca evalúa el perfil corregido por el participante. La ausencia de conducta observada se convierte por defecto en una puntuación baja, los análisis de rangos tratan 200 escenarios repetidos como bloques independientes y hay contradicciones internas en dos conteos cualitativos. El trabajo demuestra una interfaz prometedora para auditar y negociar inferencias, no un clon personal validado, una medida objetiva de personalidad ni un sistema listo para decisiones reales.

English

ASPECT uses OpenAI o1 to search 90 days of workplace meetings and messages for evidence, score 92 Communication Styles Inventory items, and present a reviewable profile with linked quotations. Among 20 employees from one organization, the initial profile agrees only modestly with self-report: 23.8% exact match, MAE 1.39, weighted kappa .34, and mean within-person correlation .39. Across 200 triads of responses to hypothetical scenarios, Profiled ranks first 42.5% of the time, compared with 32.5% for Generic and 25% for Self-Report; mean ratings are 3.33, 3.09 and 2.95 out of five. Only Profiled versus Self-Report is significant in rank tests; versus Generic, a mixed model estimates a small .24-point lift at p=.045 with substantial individual heterogeneity. The design cannot attribute this lift to the psychometric profile because Profiled also receives behavioral-evidence snippets, and the participant-corrected profile is never evaluated. Unobserved behavior is converted by default into a low score, rank analyses treat 200 repeated scenarios as independent blocks, and two qualitative counts contradict other reported values. The paper demonstrates a promising interface for auditing and negotiating inferences, not a validated personal clone, an objective personality measure, or a system ready for consequential decisions.

Pregunta de investigación

Si un LLM puede inferir un perfil detallado de estilo comunicativo desde comunicación laboral, cómo difiere del autoinforme y es negociado por el usuario, y si respuestas condicionadas por ese perfil parecen más propias que alternativas genéricas o basadas en autoinforme.

Método

Una aplicación Flask instalada localmente procesa 90 días de transcripciones de reuniones, mensajes grupales y mensajes directos. OpenAI o1 busca de dos a cinco evidencias por faceta, puntúa 92 ítems en escala 1-5 con justificación y asigna una puntuación de ausencia cuando no encuentra evidencia. Cada participante se autocalifica, compara ambos perfiles y puede revisar el resultado. Después ordena y valora, a ciegas y en orden aleatorio, tres respuestas a diez escenarios: Generic solo ve el escenario, Self-Report recibe una descripción derivada del autoinforme y Profiled recibe el perfil ASPECT inicial más fragmentos compactos de evidencia.

Muestra: 20 empleados de una organización grande: 11 hombres y 9 mujeres, 18-54 años, desde prácticas hasta puestos senior; 9 trabajaban en oficina, 10 en modalidad híbrida y 1 en remoto. Se describen como técnicamente sofisticados y cómodos con IA. Cada uno aportó 90 días de comunicación laboral, completó una sesión de dos horas y recibió 100 USD. La evaluación reúne 1.840 pares de ítems, 411 juicios de faceta y 200 combinaciones participante-escenario con tres respuestas cada una.

Hallazgos

  • En 1.840 pares, el acuerdo exacto IA/autoinforme es 23,8%, MAE 1,39 [1,34-1,45], kappa ponderado 0,34 y Spearman intrapersona medio 0,39 [0,31-0,44].
  • Las medianas intrapersona suben de 0,46 por ítem a 0,55 por faceta y 0,72 por dimensión, mientras las asociaciones entre personas suelen acercarse a cero con n=20.
  • La evidencia falta para Angriness y Defensiveness en 19/20 personas, Nonsupportiveness en 18, Concealingness y Derogatoriness en 17 y Authoritarianism en 15.
  • Las 411 evaluaciones se reparten en 141 aligned, 142 disapprove, 42 middle ground, 31 approve AI y 55 unsure; 73/411, o 17,7%, corresponden a approve AI más middle ground.
  • Profiled queda primera 85/200 veces (42,5%), Generic 65 (32,5%) y Self-Report 50 (25%); los rangos medios son 1,84, 2,00 y 2,15.
  • El Friedman global da chi-cuadrado 9,31, p=0,0095 y W=0,023; tras Holm, solo Profiled-Self-Report es significativo (p=0,0067, r=0,22).
  • Las valoraciones medias son 3,33 para Profiled, 3,09 Generic y 2,95 Self-Report; el modelo mixto estima Profiled-Generic beta 0,24, p=0,045 y Self-Report-Generic beta -0,14, p=0,26.
  • Las desviaciones de pendientes aleatorias, 0,87 para Self-Report y 0,94 para Profiled, muestran que la variación individual es grande frente al pequeño efecto medio.

Limitaciones

  • Autoinforme e inferencia IA miden perspectivas distintas y ninguno es ground truth; aceptar o negociar una inferencia no demuestra que sea correcta.
  • Profiled recibe ratings más fragmentos de evidencia y Self-Report solo ratings; no se separa el efecto del perfil del detalle conductual, contenido o copia léxica.
  • Los escenarios usan el perfil ASPECT inicial, no el revisado; el beneficio conductual de inspección, corrección y control humano queda sin evaluar.
  • Asignar una puntuación de ausencia cuando no hay evidencia confunde conducta no observada con rasgo bajo, especialmente en comunicación profesional.
  • Los intervalos Wald de primeras posiciones y Friedman/Wilcoxon usan 200 pares participante-escenario como bloques, ignorando que se cruzan dentro de solo 20 personas y 10 escenarios.
  • El modelo mixto simplifica su estructura tras problemas de convergencia; el contraste Profiled-Generic es pequeño y limítrofe, sin bootstrap ni sensibilidad de especificación.
  • No se explica el método del intervalo MAE ni el tipo de ponderación de kappa; faltan incertidumbre de ICC, jerarquía ítem-faceta-persona y multiplicidad.
  • La sección 5.1.5 dice que middle ground son 99/411=24%, pero la taxonomía publicada contiene 42/411=10,2%.
  • La prosa clasifica preferencias de participantes como 9 Profiled, 2 Self-Report y 9 mixtas/débiles; Table 4 informa 10 Profiled, 4 Generic, 2 Self-Report y 4 Mixed.
  • Tres codificadores revisan un subconjunto no especificado, una persona verifica el total, no hay fiabilidad intercodificador y las categorías son aproximadas y post hoc.
  • Los diez escenarios son hipotéticos, una sola instancia por configuración; no evalúan conducta real, consecuencias, estabilidad temporal ni despliegue prolongado.
  • Faltan snapshot exacto de o1, seeds, temperatura, top-p, runs, límites de contexto, truncación, prompts completos y estabilidad entre ejecuciones.
  • No hay código, datos, materiales, outputs, entorno ni scripts de análisis públicos; las páginas oficiales solo enlazan el preprint.
  • La muestra pequeña, de una organización y cómoda con IA no permite generalizar ni auditar raza, etnia, cultura, idioma, discapacidad, seniority o fairness.
  • Mensajes y reuniones contienen datos de terceros; no se detallan consentimiento/redacción de colegas, ruta de procesamiento por o1, retención del proveedor, deidentificación o controles de seguridad.
  • Se reconocen alucinaciones y atribuciones erróneas, pero no se cuantifican frecuencia, severidad, exactitud de citas o daño.
  • Un perfil de comunicaciones laborales puede reutilizarse para vigilancia, evaluación, contratación o disciplina; no se definen barreras técnicas o de gobernanza contra esos usos.

Qué no demuestra

  • No demuestra que ASPECT mida objetivamente personalidad o estilo estable ni que o1 sea más correcto que el participante.
  • No atribuye la preferencia al perfil psicométrico, porque la condición Profiled dispone además de evidencia conductual.
  • No prueba que revisar y corregir el perfil mejore respuestas: el perfil negociado nunca entra en la evaluación posterior.
  • No establece una ventaja robusta frente a Generic en rankings; en ratings la diferencia es pequeña y p=0,045.
  • No demuestra que el sistema beneficie a todas las personas; las pendientes aleatorias muestran fuerte heterogeneidad.
  • No convierte ausencia de evidencia en evidencia válida de ausencia de un rasgo.
  • No valida un clon personal, alineamiento de valores, decisiones reales, seguridad o comportamiento longitudinal.
  • No justifica despliegue organizativo o decisiones de alto impacto con n=20, una organización y escenarios hipotéticos.
  • No resuelve privacidad de terceros, procesamiento por proveedor, deidentificación, retención o posible vigilancia laboral.
  • No permite reproducir perfiles y resultados desde artefactos públicos disponibles.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.26922v1

Fuente consultada: https://arxiv.org/abs/2603.26922v1

Revisión: Codex 20-page visual full-text, official arXiv metadata, Microsoft Research, author-page, GitHub artifact, construct, hierarchical-statistical, privacy, ethics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • OpenAI o1

Instrumentos y métricas

  • Communication Styles Inventory: 92 items, 6 dimensions and 23 facets
  • Comparación de rating IA/autoinforme con evidencia enlazada
  • Codificación cualitativa de 411 evaluaciones de faceta
  • 10 escenarios laborales hipotéticos personalizados
  • Ranking ciego aleatorizado de tres condiciones
  • Escala sounds-like-me de cinco puntos
  • Friedman, Wilcoxon-Holm y Kendall W
  • Modelo lineal mixto con interceptos de participante y escenario

Datos utilizados

  • Participant-exported prior 90 days of workplace meeting transcripts, group messages and direct messages
  • Participant self-reported Communication Styles Inventory ratings
  • ASPECT evidence, item ratings, review decisions and hypothetical-scenario judgments

Evidencia y localización

  • Pipeline ASPECT, CSI, evidencia, puntuación por ausencia y revisión: arXiv v1, pp. 1-7, Figures 1-3; all 20 PDF pages visually inspected
  • Muestra, datos laborales, procedimiento, ética y compensación: arXiv v1, pp. 4-6
  • Acuerdo IA/autoinforme, densidad de evidencia y análisis cualitativo: arXiv v1, pp. 7-11, Figures 4-5 and Tables 1-2
  • Ranking, ratings, modelo mixto, heterogeneidad y contradicciones de conteo: arXiv v1, pp. 11-15, Tables 3-5
  • Prompts de escenario, estilo y evidencia: arXiv v1, pp. 18-20, Appendix
  • Metadatos, estatus de preprint y ausencia de artefacto público: Official arXiv Atom/HTML, Microsoft Research page, first-author page and GitHub repository APIs inspected 2026-07-17
  • Auditoría integral de constructo, ground truth, confound, estadística, privacidad y reproducibilidad: reports/verification/article-382-aspect-profile-ground-truth-evidence-confound-statistics-privacy-and-reproducibility-audit.json