四半世紀ぶんの順位表が2022年に書き換わった。動いたのは選考ではなく、補正のかけ方である

何が仕事ぶりを言い当てるかについては、順位表がある。1998年に出て、四半世紀のあいだ研修資料に載り続けた表だ。2022年に、その表が書き換わった。書き換えたのは新しい選考方法ではない。数字にかける補正の手続きである。

前の単位で、市場の統計が誰を何件と数えているかを見た。ここからは、そうやって集めてきた不揃いな材料を、一つの判断に畳む段に入る。

持ち場を狭めておく。ここで扱うのは、採用の場で使われる材料が、仕事ぶりをどれだけ言い当てるかという推定値そのものと、その値が動いた理由だけである。学業の棚が扱った「制限時間つきの試験は速さを混ぜている」という論点には触れない。そして、以下に出てくる一般知能の検査の係数を、人の頭の良さの順位表として読まない。これは検査の点と評価の点の重なり具合であって、人の格付けではない。

1998年に出て、四半世紀ぶん引かれた表

1998年、*Psychological Bulletin* 124(2) に「85年ぶんの研究知見」と題した論文が出た。採用で使われる主な手続きについて、仕事ぶりとの相関を一覧にしたものである。ワークサンプル .54、一般知能の検査 .51、構造化面接 .51、職務知識テスト .48、誠実性テスト .41、アセスメントセンター .37、非構造化面接 .38、経験的キー式のバイオデータ .35、誠実性 .31、職務経験年数 .18、興味 .10。この並びが、そのまま順位として引かれ続けた。

2022年に動いたのは、選考のほうではない

2022年、*Journal of Applied Psychology* 107(11) に再推定が出た。要旨の言い方はこうである。「これまで用いられてきた5つのやり方には、いずれもしばしば大幅な過補正をもたらす重大な問題があり、したがって多くの選考手続きの妥当性は大幅に過大評価されてきたと結論する。……従来の要約で上位だった手続きの多くは順位としては上位のままだが、平均妥当性の推定値は .10 から .20 ポイント下がる。構造化面接が最上位の選考手続きとして浮上した」。

何が過補正なのか。採用の研究では、選ばれて入った人だけを追いかけるので、得点の散らばりが実際より狭くなる。これを見込んで値を戻す操作を範囲制限の補正という。問題は、その補正の大きさをどこから持ってくるかである。補正係数はふつう予測的妥当性の研究から作られるが、メタ分析に入っている研究の約80%は同時的妥当性の研究である。採用のときに測ったのではなく、すでに働いている人にあとから検査を受けさせた研究のほうが、圧倒的に多い。前者から作った大きな補正を後者に当てれば、値は膨らむ。

改訂後の値は、同じ著者らが2023年に *Industrial and Organizational Psychology* 16(3) の焦点論文へ再掲した表から引く。2022年の論文本体の表には到達できていないので、この経路であることは書いておく。構造化面接 .51→.42、職務知識テスト .48→.40、経験的キー式バイオデータ .35→.38、ワークサンプル .54→.33、一般知能 .51→.31、誠実性テスト .41→.31、アセスメントセンター .37→.29、誠実性（全般）.31→.21、非構造化面接 .38→.19、職務経験年数 .18→.07、文脈化した誠実性 .25→.00。そして興味だけが .10→.24 と大きく上がった。

同じ論点をめぐって、正反対の向きがある

この話は、片方が正しくて片方が間違っている、という形をしていない。2023年、*Journal of Applied Psychology* 108(8) に、Oh・Le・Roth の3氏による反論（1300-1310ページ）と、Sackett らの応答（1311-1315ページ）が続けて載った。応答の逐語はこうである。「彼らは我々の論文を、同時的妥当性研究において一般に範囲制限の補正をするなと勧めるものと解した。しかし我々は、補正に必要な情報が手に入る場合には補正を支持すると強調している」。争点は「補正するかしないか」ではなく、メタ分析をするときに、必要な情報が原論文に書かれていないという状況をどう扱うかである。

もう一つ、正反対を向いた数字が流通している。2016年10月付の「100年ぶんの研究知見」と題したワーキングペーパーは、一般知能の妥当性を .65 としている。理由は、やはり範囲制限の補正である。ただし向きが逆で、新しい補正手続きによって「古い、精度の低い手続きが一般知能の妥当性を大幅に過小評価していたことが明らかになった」と書かれている。表紙にはこうある。「この作業論文は Schmidt and Hunter (1998) の更新版として用意された。世界中の実務家と研究者から繰り返し要望があったため、ResearchGate と SSRN で入手できるようにした。我々はこの論文の版を後日公刊するつもりである」。撤回されたのではない。査読誌に載らないまま、後日出すと書かれた状態が続いている。

時間・変化：人が畳むのと、式が畳むのと

順位表の話とは別に、畳み方そのものを比べた研究がある。2000年に *Psychological Assessment* 12(1) へ出たメタ分析は、人の総合判断と、決まった式による機械的な合算を突き合わせた。逐語で引く。「平均すると、機械的な予測の手法は臨床的な予測よりおよそ10%正確だった。分析の仕方によるが、機械的予測が臨床的予測を実質的に上回ったのは検討した研究の33%から47%である。臨床的予測が機械的予測と同程度に正確なことも多かったが、実質的に上回った研究はごくわずか（6%から16%）だった」。

ただし、これは人の健康と行動についての予測を集めたメタ分析であって、採用に限った研究ではない。そのまま選考の話に持ち込むのは早い。近いところでは、2016年に *Organizational Behavior and Human Decision Processes* 137 へ出た研究が、題そのもので「非構造化面接の情報は、いつ、なぜ採用判断を損なうことがあるか」と問うている。ここでは数値は出さない——標本と効果量の逐語を取れていないからである。

妨げるもの、助けるもの、最初の一歩

妨げるものの筆頭は、係数を能力の順位として読むことである。.42 と .31 の差は、人の優劣ではなく、二つの点数の重なり具合の差でしかない。第二の妨げは、補正前か補正後かを書かずに数字だけを持ち歩くことだ。この単位に出てきた値は、1998年の表も2022年の再推定も2016年の未公刊版も、すべて補正後の値である。補正の手続きが違うだけで、.31 にも .51 にも .65 にもなる。

標本の偏りを断っておく。これらの推定は米国と欧州の職場で採られたものが大半で、日本の採用を対象にした査読研究はごく少ない。しかも大半は、すでにその仕事に就いている人に、あとから検査を受けさせて測っている。そして何より、もともと選択肢の多い人ほど、その方法を試せる、という逆向きを排除できない。複数の選考を受け比べられる状態そのものが、条件に左右される。

助けるのは、材料を先に決めることである。何を見るかを、見る前に一度だけ書き出しておく。あとから足した材料は、たいてい判断を変えるためではなく、すでに出ている結論を裏づけるために足される。

最初の一歩は5分。直近で何かを評価した場面を1つ思い出し、そのとき使った材料を列挙して、件数を数える。多いか少ないかは問わない。数えるだけでいい。

次の単位は 091「認知バイアスの管理」——材料をそろえても、それを読むときの目盛りのほうが動く。次の段では、客観の指標と主観の指標が逆を向く場面へ進む。

順位表というのは、便利にできている。読む側は一列に並んだものを上から見るだけでよく、その列がどうやって作られたかを訊かなくていい。だから、四半世紀のあいだ、いちばん上にあるものが正しい答えとして配られてきた。書き換わったいまも、事情は同じである。新しい順位表が、また上から読まれるだけだ。皮肉なのは、この分野がこれだけ丁寧に検算をしているのに、その検算の中身——どの補正を、どの研究に、どこから持ってきた係数で当てたのか——が、いちばん引用されない部分だ、というところである。