生成
厳密な設計指示書に基づき、具体的な行動に紐づけて書かれた数千の候補項目。
開発の進め方
何かを作る前に、千回のシミュレーション。
AIはアセスメントの設計の仕方を変えましたが、アセスメントを証明する方法は変えていません。このページでは、私たちがAIを使って何を作ったのか、そしてそれぞれの背景にある根拠を示します。サイトの他のページより意図的に深く踏み込んでいます。
産業・組織心理学者になる前、私は1990年代に航空宇宙工学の教育を受けました。ちょうどコンピュータが物理世界をシミュレーションできるほど高性能になり、設計が「作ってみて確かめる」ものではなくなった時期です。心理学は今、その風洞を手に入れつつあります。シミュレーションが設計を見つけ、人が証明するのです。
Tariq Shaban、共同創業者 兼 プロダクト・イノベーションディレクター手法
同じ5つのステップで、すべてのアセスメントを作る。
行動フレームワーク、パーソナリティ検査スイート、状況判断のシーン、推論テストは、すべて同じ手法で作られました。最初の4ステップは各1日、5つ目のステップは必要なだけの時間をかけます。状況判断テストの9ステップの構築もこの5ステップの手法の中で行われ、貴社の専門家の時間も含めたお客様向けの完全な構築には4週間かかります。
レビューと編集
すべての項目について、測定対象、読みやすさの水準、特定の集団に不利になりうる表現をチェックし、修正して戻すか、取り除きます。
疑似因子分析（Pseudo Factor Analysis）
項目そのものの構造を読み取り、誰も回答していない段階で、どの項目が期待どおりに機能しそうかを示します。
Qarinデジタルツインでのパイロット
新しい項目はすべて、候補者に届く前に、662人の社会人のデジタルツインであるQarinが回答します。
実際の人での試行
すべての検査で例外なく行います。シミュレーションが設計を見つけ、試行がそれを証明するからです。
技術
技術の仕組み6つの技術、それぞれに担当の心理学者がつく。
それぞれが作業の時間のかかる部分を担い、その成果物は、次のステップに進む前に担当の心理学者（氏名が記録されます）が承認します。
- SJT Studio 状況判断シーンの脚本、キャスティング、レンダリング、制作を担い、各ステップを心理学者が承認します。
- 疑似因子分析（Pseudo Factor Analysis） 誰も回答していない段階で、項目の文言からその構造を読み取ります。
- Qarinデジタルツイン 人での試行の前に、実在の回答者のデジタルツインで新しい項目をパイロットします。
- AI評価者パネル 対応の選択肢を評価して採点キーの参考情報を提供します。採点キーを決めるのは専門家の一致です。
- ホールド・トゥ・ビュー・エンジン 推論問題は候補者が押さえている間だけ画面に表示され、その横に操作トレースが表示されます。
- 不正防止モデル 回答内容からではなく、テストがどのように受検されたかから構築した信頼度スコアで、人が確認するためのフラグとして提示されます。
実データとの照合
パイプラインに、検証なしで通すものは一つもない。
業務の専門家の判断は、採点キーになる前に一致度を確認します。モデルが関与するすべての段階は、同じ内容に関する人間のデータと照合して確認します。グラフは、私たちが公開している例です。疑似因子分析（Pseudo Factor Analysis）が項目のみから設計図をどの程度再現できるかを、同じ項目への実際の回答に対する従来型の因子分析と並べて示しています。
その役割は、どの項目を試行に進めるかを決めることであり、試行の代わりになることではありません。因子レベルでは、3つのモデルを統合すると、従来型の分析とほぼ同じ頻度で設計図を再現します。残りは実際の人による試行が決めます。
再現率はモデルの規模とともに上がる
設計図の再現率（%）設計図の勾配、2つの視点で
項目ペア全体の平均値| 因子の再現率 | ファセットの再現率 | |
|---|---|---|
| MiniLM-L6 22M | 70 | 55 |
| MiniLM-L12 33M | 69 | 54 |
| mpnet-base 110M | 74 | 66 |
| 統合 3モデル | 79 | 70 |
| 実データのEFA n = 790 | 78 | 89 |
| 意味的類似度（mpnet） | ポリコリック相関 | |
|---|---|---|
| 同一 ファセット内 | .45 | .55 |
| 同一因子内、 異なるファセット | .25 | .31 |
| 異なる 因子間 | .18 | .11 |
出典：Miraai妥当性検証研究（2026年）、埋め込みモデル別の設計図再現率、790件の完了回答。 Open Science Frameworkで読む
Qarinデジタルツイン
新しい項目は、662人の社会人のデジタルツインで試す。
疑似因子分析（Pseudo Factor Analysis）は項目の構造を読み取りますが、人がその項目にどう答えるかまではわかりません。そこで、新しい項目が候補者に届く前に、パーソナリティ検査を受けた662人の社会人のデジタルツインであるQarinがその項目に回答します。各ツインは一人の人物のバイオデータとそのパーソナリティを記述したプロファイルから構築され、その人物が一度も見たことのない項目に回答します。ツインのうち100体はGitHubで一般公開されており、妥当性検証研究では790件の完了回答を用いました。
Qarinツインも、他のすべてと同じ方法、つまり壊そうとすることで検証しました。良い項目の中に意図的に欠陥のある項目、すなわち性別に偏った項目、年齢に偏った項目、二重質問（ダブルバーレル）の項目、キーが誤っている項目を紛れ込ませたところ、Qarinパイロットは36のうち33を検出しました。これは人での試行の代わりにはならず、試行は毎回必ず行われます。その試行に参加する人たちは、すでに風洞を通過した項目に回答することになります。
662人の社会人。それぞれのバイオデータとパーソナリティを記述したプロファイルからQarinツインを構築し、同じ人たちの144ペアへの実際の回答と照合
33 / 36件の仕込まれた欠陥を、重要領域でQarinパイロットが検出。最も弱い4分の1の項目をAUC .85でフラグ付け
毎回人での試行が行われ、Qarinの結果が基準集団（ノルム）の表やレポートに反映されることはない
同じ144ペアにおいて、ツインの項目平均は人の項目平均と.59の相関を示し、項目・全体相関どうしの相関は.75、因子の信頼性は.05以内で再現されます（.89対.89）。出典：The Pilot Before the Pilot、Miraaiテクニカルレポート、2026年。 Open Science Frameworkで読む · ツインを実行するコードはGitHubで
行動フレームワーク
測定する前に、行動を定義する。
採用テストはパフォーマンスをどれだけ予測できるかで評価されますが、ほとんどの組織でパフォーマンスとは、一人の上司による一つの総合評価です。コンピテンシーモデルはそれを解決するためのものでしたが、その多くは2日間のワークショップで書かれています。私たちのモデルは公表されたエビデンス、すなわち140の公表文献から得た898の行動記述から構築され、その構造は、互いに同意し合う人々の集まった部屋からではなく、その資料そのものから生まれました。
898行動記述
140公表文献
6 · 18 · 77クラスター、コンピテンシー、観察可能な行動
77の行動すべてを、関連の近さに応じて配置しています。6つのクラスターは後から割り当てたものではなく、行動が自然にまとまった場所です。ドラッグ、ズーム、または行動をクリックすると、その内容と出典が表示されます。
エビデンス
すべてのアセスメントを、余すところなく文書化。
アセスメントの文書化に関する従来の基準では、発行元以外の人がその主張を検証するには決して十分ではありませんでした。だから私たちは、自社のアセスメントの背景にある作業を公開しています。
パーソナリティ
6つの因子、12の特性、24のファセットを、社会人による790件の完了回答で較正しています。妥当性検証研究は、報告書、仮説の検証結果、分析ログ、ペア統計とともに公開されており、信頼性、安定性、形式間の等価性、公平性、基準関連のエビデンス、回答の偽装（フェイキング）への耐性、基準集団（ノルム）を扱う200ページ超の内容です。
読む状況判断
すべてのシナリオバンクは、各シナリオがどこから生まれ、誰が承認したかから、採点キーがどのように導かれ、公平性の検証で何がわかったかまで、端から端まで文書化されています。担当の心理学者（氏名が記録されます）が前の段階を承認するまで次の段階は始まらず、専門家パネルとの比較による採点キー研究を含む手法全体が公開されています。
読む推論
押さえて操作する仕組みの下にあるのは、一つの項目反応尺度で採点される適応型テストです。そのため、どの問題を見たかにかかわらず、すべてのスコアは同じ意味を持ちます。押している間だけ表示される（ホールド・トゥ・ビュー）設計が不正をしにくくし、その設計はこのページの他のすべてと同じ水準で文書化されています。
見るAIが使われる場面
作業はAIが担い、判断はすべて人が下す。
モデルが作業に関与するすべての場所、そこで何をするか、誰が決定するかを一つの表にまとめました。AIはアセスメントを構築し、確認します。候補者の採点、順位付け、不合格の判定をAIモデルが行うことはありません。
| 用途 | 場所 | 何をするか | 誰が決めるか |
|---|---|---|---|
| コンテンツの生成 | すべての開発 | 項目・シーン・対応の選択肢を、アセスメントに必要な数をはるかに超えて起草し、ふるいにかけます。 | 担当の心理学者（氏名が記録されます）が各段階を承認し、その承認は保持されます。 |
| 疑似因子分析（Pseudo Factor Analysis） | すべての開発 | 誰も回答していない段階で、項目の文言を読み取って構造を予測します。 | その読み取りによって試行に回す項目を決め、そのあとには必ず人間による試行を行います。 |
| Qarinデジタルツイン | パイロット | 回答をシミュレーションし、機能しない項目や不公平な項目を見つけます。 | ツインの結果が基準集団（ノルム）表やレポートに使われることはなく、そのあとには必ず人間による試行を行います。 |
| AI評価者パネル | 状況判断の採点キー作成 | テスト開発中に採点キーの作成に情報を提供します。最終的なキーは専門家の合意で決まります。 | 専門家。 |
| 候補者の採点 | Miraaiのすべてのアセスメント | 固定された採点キーと項目反応モデルです。状況判断では、候補者のスコアは各シーンの対応の選択肢をどう評価したかのみから算出され、声に出して答えることはテストに含まれません。候補者の採点、順位付け、不合格の判定をAIモデルが行うことはありません。 | 人 |
| 対話型ガイド | キャリアガイダンスのみ | 結果を説明し、検証済みのキャリアライブラリの内容からのみ回答します。 | それ以外はすべてカウンセラーに引き継ぎます。 |
| キャリア適合スコア | キャリアガイダンスのみ | 本人のプロフィールと各職業のプロフィールの間で計算するプロフィール一致係数であり、学習させたモデルではありません。 | すべての適合結果にはその根拠となる特性が示され、対話はカウンセラーが担います。 |
| 不正防止チェック | 推論と実施 | 顔認証による本人確認、受検の仕方から算出するモデルベースの信頼度スコア、そしてオプションのAI動画監督（プロクタリング）。いずれも人が確認するためのフラグであり、判定ではありません。 | 決めるのは人であり、チェックではありません。 |
オープンリサーチプログラム
私たちの研究は共同研究に開かれています。
大学や実務家との共同研究を行い、学術研究のために検査とデータを共有しています。
APA/AERA/NCMEのスタンダードおよびSIOPのプリンシプルに準拠して構築されています。
以下の各研究はすべて、それぞれ固有のDOIのもとでOpen Science Frameworkに公開されており、何を検証したか、誰が参加したか、何が分かったか、何が公開されているかが記されています。読者は私たちに問い合わせることなく、主張を確認できます。同じ索引は、research.htmlにプレーンテキストでも掲載しています。
研究索引
Miraaiオープンリサーチプログラム 2026
- 検証内容
- Miraaiのすべての研究を収め、研究同士のつながりと、各研究が準拠する基準を示すプログラムです。
- サンプル
- すべての研究
- 結果
- 以下のすべての研究のプロトコル、報告書、分析ログ、結果には一か所からリンクしています。匿名化されたデータと分析コードは、研究契約のもとで承認を受けた研究者に共有します。ただし、Qarinデジタルツインのコードと公開済みの100件のプロフィールは、GitHubで一般公開しています。
- 公開内容
- プログラム論文、各研究へのリンク、デジタルツインのコード · doi:10.17605/OSF.IO/RH3M7
The Miraai Validation Study 2026
- 検証内容
- 画像形式とテキスト形式のパーソナリティ検査について、構造、信頼性、2週間後の安定性、両形式の等価性、公平性、基準との関係、AIによる回答の偽装（フェイキング）への耐性を検証し、報告書の運用章では15,069名の実際の応募者における結果を示します。
- サンプル
- 就業中の成人による790件の完了回答、2週間後に再検査を受けた313名、両形式を受検した152名、そして報告書の運用章では、実際の選考下で受検した15,069名の応募者
- 結果
- 因子の信頼性は.82〜.93（α）、形式に合わせたモデルでは.88〜.95。2週間後の安定性は.77〜.88。両形式は等価（ΔCFIは最大でも.001、形式によるDIFを示すペアはなし）。性別・年齢・学歴によるDIFが無視できる範囲を超えたペアはなし。誠実性と組織市民行動の相関は.42、協調性と個人に向けた市民行動の相関は.48、誠実性と非生産的職務行動の相関は−.42。第一言語と第二言語の応募者の差は、すべての因子で標準偏差の10分の1以内。
- 公開内容
- 報告書全文、仮説の検証結果、分析ログ、ペア統計、コードブック。匿名化データと分析コードは、研究契約のもとで承認を受けた研究者に提供 · doi:10.17605/OSF.IO/U693G
The Pilot Before the Pilot 2026
- 検証内容
- 一人の人物のバイオデータとパーソナリティの記述プロフィールからそれぞれ作られたQarinデジタルツインが、新規項目について人間によるパイロットの結果を再現するか、また意図的に埋め込んだ欠陥のうちどれを検出するかを検証します。662のツインを作成し、うち100をGitHubで一般公開しています。
- サンプル
- 就業中の成人662名とそのツイン、144ペア、公刊された2つの検査を受けた116名、69の欠陥を埋め込んだ92の新規項目
- 結果
- 項目平均は人間の結果と.59で相関、項目・全体相関は.75、因子の信頼性は.05以内で再現（.89に対して.89）、集団差はほぼ正確に再現。項目の下位4分の1にはAUC .85でフラグが付き、重要領域に埋め込まれた36の欠陥のうち33をツインが検出しました。
- 公開内容
- 報告書、分析ログ、コードブック、GitHub上の100件のQarinプロフィールとその実行コード · doi:10.17605/OSF.IO/PV67F
The AI Panel Against the Experts 2026
- 検証内容
- 状況判断テスト（SJT）の採点キー作成において、AI評価者パネルを人間の専門家パネルと比較し、パネルの支援で作成したキーによるテストが、人間が作成したキーによるテストと同じく健全で公平かを検証します。
- サンプル
- 両パネルが評価した同一の96の対応の選択肢と、すべてのキーで再採点したリーダーシップ状況判断テストの実際の受検データ9,433件
- 結果
- パネルの評価は専門家の評価と.84で相関します。パネルは評価が厳しく（5段階尺度で0.57の差）、評価者同士の一致が高すぎるため、キーではこの2点を較正しています。パネルのキーによるテストは専門家のキーによるテストと同等の内的整合性を持ち、項目は男性と女性、年齢の高い候補者と低い候補者、そして民族集団の間で同じように機能します。
- 公開内容
- 報告書（PDF） · doi:10.17605/OSF.IO/NJXF7
Behavioral, Model-Agnostic Integrity in Online Ability Testing 2026
- 検証内容
- 推論テストの回答内容ではなく受検の仕方を観察することで、外部からの助けを検出できるかを検証します。監督ありと監督なしのセッションの実地比較と、セッション信頼度スコアを用いた実験です。
- サンプル
- 監督の有無の両方を含む実地の推論テストセッション106,000件超と、372名が参加した実験
- 結果
- 監督なしのセッションは監督（プロクタリング）ありのセッションより得点が高く、差は言語推論と数的推論で最も大きくなりました。回答内容ではなく受検の仕方のみから算出した信頼度スコアは、助けを受けたセッションと正直なセッションを判別し（AUC .82）、スコアが低い場合は人が確認するためのフラグを立てるだけで、判定を下すことはありません。
- 公開内容
- 論文（PDF）。SIOP 2026で発表 · doi:10.17605/OSF.IO/CKNRA
Fast Tests, Expert Judgment 2026
- 検証内容
- 産業・組織心理学者が主導して動画の状況判断テスト（SJT）を大規模に開発する方法を示します。9段階のパイプライン、各段階で適用する基準、心理学者が決定する事項、そして設計の根拠となる研究を扱います。
- サンプル
- パイプラインそのもの。採点キー作成の段階は、人間の専門家パネルと9,433名の候補者を基準に検証
- 結果
- 各段階で言語モデルが草案を作成し、すべての決定は心理学者が下します。決定は、誰がなぜ下したかとともに監査ログに記録されます。前の段階が承認されるまで、次の段階には進めません。18シナリオのバンクは、インシデントの抽出から、回答の偽装（フェイキング）のレビューを含む承認済みの採点キー草案まで、約20ドル分のモデル呼び出しで完成しました。
- 公開内容
- 論文（非営利目的での再利用を許諾） · doi:10.17605/OSF.IO/BQHRA
The Miraai Behavioral Framework 2026
- 検証内容
- ワークショップではなく公刊されたエビデンスから構築した行動フレームワークです。行動記述、その出典、そしてそこから導かれた構造を示します。
- サンプル
- 140の公刊文献から得た898の行動記述
- 結果
- 6つのクラスター、18のコンピテンシー、77の行動。いずれも出典までたどることができます。
- 公開内容
- フレームワーク論文（非営利目的での再利用を許諾） · doi:10.17605/OSF.IO/NP63V
妥当性の主張は、確認できる範囲でしか価値を持ちません。Miraaiの主張はOpen Science FrameworkとGitHubに置かれ、そのそばにプロトコル、分析ログ、結果があります。多くのプロバイダーはパンフレットを公開し、都合の悪い証拠は隠します。私たちが公開するのは要約ではなく、研究の全体です。何が見つかると予想したか、何が見つかったか、どう分析したかのすべてが公開されています。
次のステップ
職務記述書を1つお送りください。
私たちがその職務の最初のシーンを作ってお見せしますので、説明を読むのではなく実物をご覧いただけます。