Generar
Miles de ítems candidatos, redactados según especificaciones de diseño estrictas y anclados a comportamientos específicos.
Método
Mil simulaciones antes de construir nada.
La IA cambió cómo puede diseñarse una evaluación, y no cambió cómo debe comprobarse. Esta página muestra lo que construimos con ella y la evidencia detrás de cada pieza, y profundiza más que el resto del sitio a propósito.
Antes de ser psicólogo industrial-organizacional, me formé como ingeniero aeroespacial en los años noventa, justo cuando las computadoras se volvieron lo bastante buenas para simular el mundo físico y diseñar dejó de ser construir y ver qué pasa. La psicología está recibiendo ahora su túnel de viento, y la simulación encuentra el diseño mientras las personas lo comprueban.
Tariq Shaban, Cofundador y Director de Producto e InnovaciónEl método
Los mismos cinco pasos construyen cada evaluación.
El mismo método construyó el marco conductual, la suite de personalidad, las escenas de juicio y la prueba de razonamiento. Los primeros cuatro pasos toman un día cada uno, y el quinto toma el tiempo que necesite. La construcción en nueve pasos de Juicio situacional corre dentro del mismo método de cinco pasos, y una construcción completa para un cliente, incluido el tiempo de sus expertos, toma cuatro semanas.
Revisar y editar
Cada ítem se revisa en cuanto a su objetivo, su nivel de lectura y cualquier redacción que pueda perjudicar a un grupo, y vuelve editado o queda fuera.
Análisis Factorial Simulado (Pseudo Factor Analysis)
Una lectura estructural de los propios ítems, que muestra cuáles probablemente se comportarán bien antes de que alguien haya respondido uno.
Piloto con gemelos Qarin
Cada ítem nuevo es respondido por Qarin, gemelos digitales de 662 adultos trabajadores, antes de llegar a un candidato.
Ensayo con personas
Todos los instrumentos, sin excepción, porque la simulación encuentra el diseño y el ensayo lo comprueba.
La tecnología
Cómo funciona la tecnologíaSeis piezas de tecnología, cada una con un psicólogo a cargo.
Cada una hace la parte lenta del trabajo, y un psicólogo identificado por nombre aprueba lo que produce antes de que comience el siguiente paso.
- SJT Studio Guiones, casting, renderizado y producción de las escenas de juicio, con un psicólogo que aprueba cada paso.
- Análisis Factorial Simulado (Pseudo Factor Analysis) Lee la estructura de los ítems a partir de su redacción antes de que alguien haya respondido.
- Gemelos digitales Qarin Prueba piloto de los ítems nuevos con gemelos de respondientes reales antes del ensayo con personas.
- Panel de IA para la clave de calificación Califica las opciones de respuesta como insumo para la clave de calificación; el acuerdo de los expertos es lo que la fija.
- Motor de mantener presionado para ver La pregunta de razonamiento permanece en pantalla solo mientras el candidato la mantiene presionada, con una traza de interacción al lado.
- Modelo de integridad Un puntaje de confianza construido a partir de cómo se realizó la prueba, nunca de las respuestas, que se presenta como alerta para que una persona lo revise.
Contrastado con la realidad
Nada en el proceso se acepta a ciegas.
Los juicios de los expertos en la materia se verifican en su grado de acuerdo antes de convertirse en clave de calificación, y cada etapa que toca un modelo se contrasta con datos humanos sobre el mismo contenido. El gráfico muestra el ejemplo que publicamos: cuánto del plano de diseño recupera el Análisis Factorial Simulado (Pseudo Factor Analysis) a partir de los ítems solamente, junto a un análisis factorial convencional de respuestas reales a los mismos ítems.
Su función es decidir qué ítems pasan al ensayo, nunca reemplazar el ensayo. A nivel de factor, los tres modelos combinados recuperan el plano aproximadamente con la misma frecuencia que el análisis convencional, y el ensayo con personas reales decide el resto.
La recuperación escala con el modelo
Recuperación del plano, %El gradiente del plano, ambas lecturas
Valor medio entre pares de ítems| Recuperación de factores | Recuperación de facetas | |
|---|---|---|
| MiniLM-L6 22M | 70 | 55 |
| MiniLM-L12 33M | 69 | 54 |
| mpnet-base 110M | 74 | 66 |
| Agregado 3 modelos | 79 | 70 |
| EFA empírico n = 790 | 78 | 89 |
| Similitud semántica (mpnet) | Correlación policórica | |
|---|---|---|
| Misma faceta | .45 | .55 |
| Mismo factor, otra faceta | .25 | .31 |
| Entre factores | .18 | .11 |
Fuente: Estudio de Validación de Miraai, 2026, recuperación del plano por modelo de embeddings, 790 formularios completados. Léalo en el Open Science Framework
Gemelos digitales Qarin
Hacemos el piloto de los ítems nuevos con gemelos de 662 adultos trabajadores.
El Análisis Factorial Simulado (Pseudo Factor Analysis) lee la estructura de un ítem, pero no puede decirle cómo lo responderán las personas. Por eso, antes de que un ítem nuevo llegue a un candidato, lo responde Qarin, gemelos digitales de 662 adultos trabajadores que realizaron la evaluación de personalidad, cada gemelo construido a partir de los datos biográficos de una persona y de un perfil escrito de su personalidad, y que responde ítems que esa persona nunca ha visto. 100 de los gemelos están publicados en GitHub; el estudio de validación usó 790 formularios completados.
Probamos los gemelos Qarin como probamos todo lo demás: intentando romperlos. Escondimos ítems deliberadamente malos entre los buenos, ítems con sesgo de género, con sesgo de edad, de doble contenido o con clave incorrecta, y el piloto Qarin detectó 33 de los 36. No reemplaza el ensayo con personas, que sigue ocurriendo cada vez, y significa que las personas de ese ensayo responden ítems que ya pasaron por el túnel.
662adultos trabajadores, cada uno con un gemelo Qarin construido a partir de sus datos biográficos y de un perfil escrito de su personalidad, contrastado con las respuestas reales de esas mismas personas a 144 pares
33 / 36defectos sembrados detectados por el piloto Qarin en las áreas críticas, con la cuarta parte más débil de los ítems señalada con AUC .85
Cada vezsigue un ensayo con personas, y ningún resultado de Qarin llega a una tabla de normas ni a un informe
En los mismos 144 pares, las medias de los ítems de los gemelos correlacionan .59 con las de las personas, sus correlaciones ítem-total .75, y la confiabilidad por factor se reproduce con un margen de .05 (.89 frente a .89). Fuente: The Pilot Before the Pilot, informe técnico de Miraai, 2026. Léalo en el Open Science Framework · El código para ejecutar los gemelos, en GitHub
El marco conductual
Definimos el comportamiento antes de medirlo.
Una prueba de selección se juzga por qué tan bien predice el desempeño, pero en la mayoría de las organizaciones el desempeño es una sola calificación global de un solo gerente. Los modelos de competencias debían corregir eso, y la mayoría se escriben en un taller de dos días. El nuestro se construyó a partir de evidencia publicada, 898 enunciados de comportamiento de 140 fuentes publicadas, y la estructura salió de ese material y no de una sala de personas poniéndose de acuerdo entre sí.
898enunciados de comportamiento
140fuentes publicadas
6 · 18 · 77clústeres, competencias y comportamientos observables
Los setenta y siete comportamientos, ubicados según qué tan estrechamente se relacionan. Los seis clústeres no se asignaron después: son donde los comportamientos se agruparon por sí solos. Arrastre, haga zoom o haga clic en un comportamiento para verlo junto con su fuente.
La evidencia
Documentación completa, para cada evaluación.
Los viejos estándares para documentar una evaluación nunca bastaron para que alguien ajeno a la editorial verificara sus afirmaciones, así que publicamos el trabajo detrás de las nuestras.
Personalidad
Seis factores, doce rasgos y veinticuatro facetas, calibrados con 790 formularios completados por adultos trabajadores. El estudio de validación es público con su informe, los resultados de las hipótesis, el registro de análisis y las estadísticas por par, más de doscientas páginas que cubren confiabilidad, estabilidad, equivalencia de formatos, equidad, evidencia de criterio, resistencia al falseamiento de respuestas y normas (baremos).
LéaloJuicio situacional
Cada banco de escenarios se documenta de principio a fin, desde dónde surgió cada escenario y quién lo aprobó hasta cómo se derivó la clave y qué encontraron las pruebas de equidad. Ninguna etapa se abre hasta que un psicólogo identificado por nombre ha firmado la anterior, y todo el método, con el estudio de la clave de calificación frente a un panel de expertos, es público.
LéaloRazonamiento
Debajo de la mecánica que usted sostiene hay una prueba adaptativa calificada en una sola escala de respuesta al ítem, de modo que cada puntaje significa lo mismo sin importar qué preguntas vio la persona. Su diseño de mantener presionado para ver hace más difícil hacer trampa, y está documentado con el mismo estándar que todo lo demás en esta página.
VéaloDónde se usa la IA
La IA hace el trabajo, y una persona toma cada decisión.
Cada punto en que un modelo toca el trabajo, qué hace ahí y quién decide, en una sola tabla. La IA construye y verifica la evaluación. Ningún modelo de IA califica, clasifica ni rechaza a un candidato.
| Uso | Dónde | Qué hace | Quién decide |
|---|---|---|---|
| Generación de contenido | Cada construcción | Redacta y filtra ítems, escenas y respuestas, muchos más de los que necesita una evaluación. | Un psicólogo identificado por nombre aprueba cada etapa, y la aprobación queda registrada. |
| Análisis Factorial Simulado (Pseudo Factor Analysis) | Cada construcción | Lee la redacción de los ítems para predecir la estructura antes de que alguien haya respondido. | Su lectura decide qué ítems se ponen a prueba, y siempre sigue una prueba con personas reales. |
| Gemelos digitales Qarin | Pilotaje | Simulan respuestas para encontrar ítems que fallan o no son equitativos. | Ningún resultado de los gemelos llega a una tabla de normas ni a un informe, y siempre sigue una prueba con personas reales. |
| Panel de evaluadores de IA | Construcción de las claves de Juicio situacional | Orienta la clave de calificación mientras se construye la prueba. El acuerdo de los expertos fija la clave final. | Los expertos. |
| Calificación de candidatos | Todas las evaluaciones de Miraai | Claves de calificación fijas y modelos de respuesta al ítem. En Juicio situacional, el puntaje de un candidato proviene únicamente de cómo califica las respuestas a cada escena, y responder en voz alta no forma parte de la prueba. Ningún modelo de IA califica, clasifica ni rechaza a un candidato. | Personas |
| Guía conversacional | Solo Orientación profesional | Explica los resultados y responde únicamente a partir de la biblioteca verificada de carreras. | Todo lo demás lo deriva a un orientador. |
| Puntaje de ajuste profesional | Solo Orientación profesional | Un coeficiente de coincidencia de perfiles calculado entre el perfil de la persona y el de cada ocupación, no un modelo entrenado. | Cada coincidencia muestra los rasgos que la sustentan, y la conversación la lleva un orientador. |
| Controles de integridad | Razonamiento y aplicación | Verificación de identidad mediante validación facial, un puntaje de confianza basado en un modelo y derivado de cómo se respondió la prueba, y supervisión (proctoring) opcional por video con IA: una alerta para que una persona la revise, nunca un veredicto. | Una persona, nunca el control. |
Dónde se usa la IA, y dónde noInvestigación en curso: calificación de respuestas abiertas
Programa de Investigación Abierta
Nuestra investigación está abierta a la colaboración.
Realizamos estudios conjuntos con universidades y profesionales, y compartimos nuestros instrumentos y datos para trabajos académicos.
Construidas según los Estándares APA/AERA/NCME y los Principios de la SIOP.
Cada estudio de esta lista está en el Open Science Framework con su propio DOI, con lo que puso a prueba, quiénes participaron, qué encontró y qué es público, para que cualquier lector pueda verificar una afirmación sin tener que preguntarnos primero. El mismo índice está en research.html como texto sin formato.
Índice de investigación
El Programa de Investigación Abierta de Miraai 2026
- Qué puso a prueba
- El programa que reúne todos los estudios de Miraai, cómo se conectan entre sí y los estándares con los que se realiza cada uno.
- Muestra
- Todos los estudios
- Qué encontró
- Los protocolos, informes, registros de análisis y resultados de cada uno de los estudios siguientes están enlazados desde un solo lugar, y los datos desidentificados y el código de análisis se comparten con investigadores aprobados bajo un acuerdo de investigación, salvo el código de los gemelos digitales Qarin y los 100 perfiles publicados, que son públicos en GitHub.
- Público
- El artículo del programa, enlaces a cada estudio y el código de los gemelos digitales · doi:10.17605/OSF.IO/RH3M7
El Estudio de Validación de Miraai 2026
- Qué puso a prueba
- La evaluación de personalidad en sus formatos ilustrado y de texto: estructura, confiabilidad, estabilidad a dos semanas, equivalencia de los dos formatos, equidad, relaciones con criterios, resistencia al falseamiento de respuestas por IA y, en un capítulo operativo del informe, cómo se desempeñó con 15,069 postulantes reales.
- Muestra
- 790 formularios completados por adultos trabajadores, 313 reevaluados a las dos semanas, 152 que respondieron ambos formatos y, en el capítulo operativo del informe, 15,069 postulantes en condiciones reales de selección
- Qué encontró
- Confiabilidad de los factores de .82 a .93 (α) y de .88 a .95 en el modelo ajustado al formato; estabilidad a dos semanas de .77 a .88; los dos formatos equivalentes (ΔCFI de .001 como máximo, ningún par con DIF por formato); ningún par más allá del umbral de DIF insignificante por género, edad o nivel educativo; Responsabilidad .42 con ciudadanía organizacional, Amabilidad .48 con ciudadanía hacia las personas, Responsabilidad −.42 con comportamiento contraproducente; postulantes de primera y segunda lengua dentro de una décima de desviación estándar en todos los factores.
- Público
- El informe completo, los resultados de las hipótesis, el registro de análisis, las estadísticas de los pares y el libro de códigos; datos desidentificados y código de análisis para investigadores aprobados bajo un acuerdo de investigación · doi:10.17605/OSF.IO/U693G
El piloto antes del piloto 2026
- Qué puso a prueba
- Si los gemelos digitales Qarin, cada uno construido a partir de los datos biográficos de una persona y un perfil escrito de su personalidad, reproducen lo que un piloto con personas revela sobre los ítems nuevos, y qué defectos deliberados detectan. Se construyeron 662 gemelos, y 100 se publican abiertamente en GitHub.
- Muestra
- 662 adultos trabajadores y sus gemelos, 144 pares, 116 personas en dos inventarios publicados, 92 ítems nuevos con 69 defectos deliberados
- Qué encontró
- Las medias de los ítems correlacionan .59 con las de las personas, las correlaciones ítem-total .75, la confiabilidad de los factores se reproduce con un margen de .05 (.89 frente a .89), las diferencias entre grupos se reproducen casi con exactitud, el cuarto más débil de los ítems se detecta con AUC .85, y los gemelos detectan 33 de los 36 defectos deliberados en las áreas críticas.
- Público
- El informe, el registro de análisis, el libro de códigos, 100 perfiles Qarin y el código para ejecutarlos en GitHub · doi:10.17605/OSF.IO/PV67F
El panel de IA frente a los expertos 2026
- Qué puso a prueba
- Cómo se compara un panel de evaluadores de IA con un panel de expertos humanos al fijar la clave de calificación de una prueba de juicio situacional (SJT), y si la prueba cuya clave se fijó con ayuda del panel es tan sólida y tan equitativa como la que fijaron las personas.
- Muestra
- Ambos paneles calificando las mismas 96 respuestas, y 9,433 aplicaciones reales de una prueba de juicio situacional sobre liderazgo recalificadas con cada clave
- Qué encontró
- Las calificaciones del panel correlacionan .84 con las de los expertos. Califica con más severidad (0.57 puntos en una escala de cinco) y sus evaluadores concuerdan demasiado entre sí, por lo que la clave se calibra para corregir ambas cosas. La prueba con la clave del panel es tan consistente internamente como la que tiene la clave de los expertos, y sus ítems se comportan igual para hombres y mujeres, candidatos mayores y jóvenes, y entre grupos étnicos.
- Público
- El informe en PDF · doi:10.17605/OSF.IO/NJXF7
Behavioral, Model-Agnostic Integrity in Online Ability Testing 2026
- Qué puso a prueba
- Si observar cómo se responde una prueba de razonamiento, y no el contenido de las respuestas, detecta la ayuda externa: una comparación de campo entre sesiones supervisadas y sin supervisión, y un experimento con un puntaje de confianza por sesión.
- Muestra
- Más de 106,000 sesiones de pruebas de razonamiento en campo, con y sin supervisión, y un experimento con 372 participantes
- Qué encontró
- Las sesiones sin supervisión obtuvieron puntajes más altos que las supervisadas (con proctoring), sobre todo en razonamiento verbal y numérico. Un puntaje de confianza construido a partir de cómo se respondió la prueba, nunca de lo que se respondió, distingue las sesiones con ayuda de las honestas (AUC .82), y un puntaje bajo genera una alerta para que una persona la revise, nunca un veredicto.
- Público
- El artículo en PDF; presentado en SIOP 2026 · doi:10.17605/OSF.IO/CKNRA
Fast Tests, Expert Judgment 2026
- Qué puso a prueba
- Cómo se construyen a escala pruebas de juicio situacional en video con psicólogos industrial-organizacionales a cargo: el proceso de nueve pasos, el estándar que se aplica en cada paso, qué decide el psicólogo y la investigación en la que se apoya el diseño.
- Muestra
- El proceso mismo, con su paso de fijación de la clave medido frente a un panel de expertos humanos y 9,433 candidatos
- Qué encontró
- Los modelos de lenguaje redactan borradores en cada paso y un psicólogo toma cada decisión, que queda escrita en un registro de auditoría con quién la tomó y por qué. Ningún paso se abre hasta que el anterior está aprobado. Un banco de dieciocho escenarios pasó de la extracción de incidentes a un borrador de clave aprobado, con su revisión de falseamiento de respuestas, por unos veinte dólares en llamadas a los modelos.
- Público
- El artículo, con licencia para reutilización no comercial · doi:10.17605/OSF.IO/BQHRA
The Miraai Behavioral Framework 2026
- Qué puso a prueba
- Un marco conductual construido a partir de evidencia publicada y no de un taller: los enunciados, las fuentes y la estructura que surgió de ellos.
- Muestra
- 898 enunciados de comportamiento de 140 fuentes publicadas
- Qué encontró
- Seis clústeres, dieciocho competencias y setenta y siete comportamientos, cada uno rastreable hasta sus fuentes.
- Público
- El artículo del marco, con licencia para reutilización no comercial · doi:10.17605/OSF.IO/NP63V
Una afirmación de validación vale tanto como lo que usted puede verificar. Las nuestras están en el Open Science Framework y en GitHub, con los protocolos, los registros de análisis y los resultados al lado. La mayoría de los proveedores publica un folleto y oculta la evidencia que no le favorece. Nosotros publicamos el estudio completo, no un resumen. Lo que esperábamos encontrar, lo que encontramos y cómo lo analizamos están a la vista de todos.
Siguiente paso
Envíenos una descripción de puesto.
Construiremos la primera escena para ese puesto y se la mostraremos, para que vea la prueba real en lugar de leer sobre ella.