ホームパーソナリティ状況判断推論開発の進め方プラットフォーム研究キャリアガイダンスお問い合わせ
Miraai Reasoning

候補者が不正をしにくいように作られた推論テスト。

候補者が隣のタブでAIを開いたまま受検するようになって以来、推論テストは信頼しにくいものになりました。私たちは、設計そのもので不正をしにくくした推論テストを作りました。問題が画面に表示されるのは、候補者が押さえている間だけだからです。

3つの例題を実際に操作でき、その横に操作トレースが表示されます。採点も記録も一切行われません。スマートフォンでは横向きにしてご覧ください。

信頼できること

設計で不正をしにくくし、必要なら監督(プロクタリング)も。

今やどんな推論テストも、候補者がもう片方の手に持ったスマートフォンで解けてしまいます。多くのベンダーはAIに解けない問題を探すことで対抗しますが、その競争は毎回、数か月のうちに敗北に終わります。私たちは代わりに、助けを借りるほうが自分で解くより時間がかかるようにしました。問題は候補者が押さえている間しか存在せず、手を離した理由が何であれ、時計は止まらないからです。

テストは候補者一人ひとりに合わせて調整されるため、能力の高い応募者が易しい問題に退屈することも、能力の低い応募者が難しい問題に埋もれることもありません。また、どの問題を見たかにかかわらず、すべてのスコアは同じ尺度上に置かれます。新しい問題はすばやく較正され、問題プールは定期的に更新されるため、漏洩するほど長く出回る問題はありません。

単体で実施することも、Podium365上で顔認証と、オプションのAI動画監督(プロクタリング)を追加することもできます。後者は人が確認するためのフラグを立てるもので、替え玉や協力者の可能性も排除したい場合に使います。

押さえているときと、離したとき

手を離して失うのは問題であって、時間ではない。

時計は、候補者が各問題で初めてオーブを押さえたときに動き始め、その後は速くなることも止まることもなく、時間切れになるか次の問題が始まるまで進み続けます。

押さえている

問題が画面に表示され、時計が進んでいます。

離した

画面は空のまま時計は進み続けるため、スクリーンショットを撮っても何も写りません。

操作トレース

すべての動きを読み取り、判断は人が下す。

動かし方そのものがシグナル

手を伸ばす動きはすべて記録されます。軌道の直線性、途中の細かな修正、最高速度に達する位置、そして人間の手に自然に生じる震えまで。人にはそれぞれの癖(シグネチャー)があり、スクリプトにはありません。

毎回、感触が違う

オーブの挙動はセッションごとにわずかに異なります。人なら数回の動きで順応しますが、学習した動きを再生するスクリプトは、順応しないか、誤った順応をします。

フラグであって、判定ではない

このチェックはスコアとその根拠を返し、人が確認します。候補者に関する決定が、これだけを根拠に下されることはありません。

言語・数的・抽象を、どのデバイスでも一度の受検で。キーボード長押しモードとスクリーンリーダーモードも標準で備え、同じロックと同じ時計で動作します。

採点の仕組み

どの問題を見たかにかかわらず、尺度は一つ。

レベル適応型テスト

言語・数的・抽象の各推論は、難易度レベルの階段として進みます。正解すれば候補者は上のレベルへ、不正解なら下のレベルへ移り、次の問題は現在いるレベルから出題されます。そのため、能力の高い候補者が退屈することも、能力の低い候補者が埋もれることもありません。

項目反応モデルによる採点

スコアは項目反応モデルから算出されるため、すべての項目が一つの難易度尺度上に置かれ、候補者がどの項目を見たかにかかわらず、スコアは同じ意味を持ちます。各尺度は、決まった問題数ではなく、能力推定値が十分に精密になった時点で終了します。

人が確認するチェックであって、判定ではない

テストがどのように受検されたかは、モデルに基づくセッションの信頼度スコアに変換され、スコアが低い場合はその根拠とともにフラグが立ち、人が確認します。候補者に関する決定が、これだけを根拠に下されることはありません。候補者の回答内容がAIモデルに読み取られることはなく、候補者の採点、順位付け、不合格の判定をAIモデルが行うことはありません。

この設計の背景にある公表済みの不正防止研究では、受検の仕方から構築した信頼度スコアが、助けを借りたセッションと正直に受検したセッションを見分け、一人で取り組んだ人にフラグが立つことはほとんどありませんでした。

不正防止研究を読む AIが使われる場面
次のステップ

職務記述書を1つお送りください。

私たちがその職務の最初のシーンを作ってお見せしますので、説明を読むのではなく実物をご覧いただけます。