同じ1つのデータを29の研究チームに渡したら、20チームが有意だと言い、9チームが言わなかった

根拠を3つ挙げられる主張は、1つしか挙げられない主張より確からしい。そう思いたくなる。ところが3つの根拠が同じ1つの出どころに合流していると、数は3でも、独立した証拠は1つである。しかも合流しているかどうかは、数えているあいだは見えない。

数えるのではなく、独立しているかを見る

証拠という道具は、ある主張を支えている材料が、いくつあるかではなく、互いにどれだけ独立しているかを見るためのものである。

手元にある材料を数えるのは簡単だ。記事を3本読んだ。人から2回聞いた。研修でも同じことを言っていた。合計6件。ところがこの6件が、同じ1つの調査に合流していることは珍しくない。合流していれば、独立した証拠は1つである。数は増えるが、確からしさは増えない。

この単位では、材料の数え方を三段階で疑う。作られ方（同じ材料でも分析次第で結論が変わるか）、残り方（うまくいかなかった結果は残るか）、運ばれ方（引用の連鎖のどこで主張が固まるか）である。

同じデータから、29の結論

2018年に Advances in Methods and Practices in Psychological Science へ出た研究は、この問題をいちばん見やすい形で示した。ある競技における審判の判定に関する1つの問いを立て、まったく同じ1つのデータセットを29の研究チームに配る。分析の方法は各チームに任せる。

出てきた効果の大きさは、オッズ比で0.89から2.93まで散らばった。中央値は1.31である。20チーム（69%）が統計的に有意な正の効果を報告し、9チーム（31%）は有意な関係を見出さなかった。29の分析が使った共変量の組み合わせは21通りで、手法は単純な回帰から多水準モデル、ベイズ的な手法まで幅があった。

どのチームも不正はしていない。全チームが互いの分析を査読し、方法を公開している。それでもこうなる。分かるのは、データが結論を1つに決めるわけではないということだ。データと結論のあいだには、分析の設計という手続きが挟まっている。

分析の自由度

その手続きに、どれだけの余地があるのかを数えた研究がある。米国で2011年に Psychological Science へ出た論文で、研究者が使える四つのありふれた選択肢を取り上げた。似た指標を2つ測って良いほうを報告する。データを見てから観測を追加する。性別を統制した分析も試す。三つの条件のうち一つを落とす。

どれも不正ではない。論文にはそう書かなければ現れない、というだけである。四つを組み合わせると、本当は差の無いものから統計的に有意な結果が出る確率——偽陽性率——は、5%の基準で60.7%まで上がった。1%の厳しい基準にしても21.5%である。

同じ論文は、それを実演もした。20人の学部生に音楽を聴かせ、父親の年齢を統制した分析を行うと、ある曲を聴いた人は聴かなかった人より1年半ほど「若く」なった（F(1,17)=4.92、p=.040）。統制をやめると効果は消える（F(1,18)=1.01、p=.33）。生まれた年が音楽で変わらないことは、誰でも知っている。

100件の追試

作られ方の次は、残り方である。2015年に Science へ出た再現性プロジェクトは、心理学の主要な3誌に載った100件の研究を、元の材料を使い、検出力を高めた設計で追試した。

結果はこうだった。元の研究のうち97%は統計的に有意な結果を報告していた。追試で統計的に有意になったのは36%である。追試の効果の大きさは、元の研究の半分ほどだった。元の効果量が追試の95%信頼区間に入っていたのは47%、追試を担当したチームが主観的に再現したと判定したのは39%、元と追試を統合して有意なままだったのは68%だった。

ここで数字の読み方に注意がいる。36%というのは、追試100件のうち36件という意味であって、元の結果が64%間違っていたという意味ではない。追試も1回の測定であり、追試のほうが外れている場合もある。

同じ形の調査は別の場所でも行われている。2018年に Nature Human Behaviour へ出た研究は、2010年から2015年に Nature と Science へ載った社会科学の実験21件を追試し、13件（62%）で同じ向きの有意な効果を得た。効果の大きさは平均して元のおよそ50%だった。

書かれなかった論文

残り方には、もっと手前の段階がある。そもそも論文にならない結果である。

2014年に Science へ出た研究は、この問題を珍しい形で測った。米国の公的な助成を受けた調査実験の枠組みでは、実施された研究が全部記録に残っている。つまり、公表されたものと公表されなかったものの両方が分かる。221件を追った結果、統計的に強い結果は、帰無の結果に比べて、出版される確率が40パーセントポイント高く、論文として書かれる確率が60パーセントポイント高かった。

著者たちが特定したのは、どの段階で偏りが生まれるかである。査読で落とされているのではない。著者が、帰無の結果を書かないのだ。だから公表されている証拠の集まりは、実施された研究の集まりとは別のものである。何件見つかったかを数えても、見つからなかった研究が何件あるかは分からない。

値切り：複数の情報源に当たれば確かになる

ここで、この単位に割り当てられた値切りに入る。情報の確かめ方として最も広く勧められているのは、複数の情報源に当たれ、という助言である。3つの記事が同じことを言っていれば確からしい、という考え方だ。

この助言が壊れる仕組みを、実際の引用の網で追いかけた研究がある。2009年に BMJ へ出たもので、ある医学的な主張について、その主張に触れた242本の論文と675の引用をすべて追跡した。

分かったことはこうだった。一次データを持つ論文への引用214件のうち、主張を支持する論文が94%を受け取り、主張を弱めるか否定するデータを含む6本の論文が受け取ったのは6%だった。そして、この主張を支える引用経路のうち63%——13万9,391本——が、一次データを1つも報告していない1本の総説を通っていた。さらに、主張を支持する文章に付けられた引用のうち24%は、その内容にまったく触れていない論文に流れていた。

つまり、3つの記事が同じことを言っている状態は、3つの独立した証拠ではなく、1つの証拠が3回運ばれた状態でありうる。しかも運ばれるあいだに、もとの論文が言っていなかったことまで加わる。

複数の情報源に当たること自体は悪くない。悪いのは、当たった数を確からしさの目盛りとして使うことだ。証拠の道具がやるのは、数えることではなく、材料の出どころが合流していないかを1回だけ確かめることである。

時間・変化：主張が定説になるまで

主張は、証拠が増えて定説になるのではない。三つの段階を通って定説になる。

第一段階は、1本の研究が出る。ここでは、その研究の条件と限界が書かれている。

第二段階は、総説や解説が出る。ここで条件が削られる。字数の制約もあるし、条件付きの主張は引用しにくい。2009年の引用網の研究で、経路の63%が1本の総説を通っていたのはこの段階である。

第三段階は、条件の落ちた形が繰り返し引用される。この段階になると、元の論文を読まなくても引用できる。読まずに引用されたものは、もとの条件を取り戻さない。

この過程には数年から十数年かかる。だから、いま自分が常識として持っている主張の多くは第三段階のものである。悪意はどこにも要らない。字数と読みやすさだけで、ここまで進む。

妨げるもの、助けるもの、最初の一歩

妨げるものの筆頭は、証拠の強さを、賛成している人の数で測ることである。人数は、独立性の指標ではない。同じ記事を読んだ100人は、証拠1件ぶんである。

第二の妨げは、この道具を人に向けることだ。相手の根拠の出どころを問い詰める使い方は、この単位が扱うものではない。ここでやるのは、自分が正しいと思っている主張の出どころを自分で数え直すことだけである。

標本の偏りも断っておく。ここまでの証拠は、心理学と社会科学と医学の、英語圏の学術界の内側で採られている。実験室で数分の課題として測られたものが、締切のある本物の判断にそのまま当てはまるとは限らない。29チームの実験も、100件の追試も、学術論文という特殊な材料を対象にしていて、仕事で回ってくる資料や、身近な人の話には、そのまま当てはまらない。日本語圏の追試はほとんど見当たらない。数字は方向だけ持ち帰るのが誠実である。

助けるのは、材料に一言だけ札を付けることだ。これは見出しで見た。これは人から聞いた。これは原典を読んだ。三種類に分けるだけで、合流している材料が見える。

最初の一歩は5分。自分が正しいと思っている主張を3つ書き、それぞれの根拠がこの三種類のどれかを記録する。原典を読んだが0でも構わない。0だと分かっている状態と、数えていない状態は違う。

次の単位は 184「構造化思考」——証拠が、材料が互いに独立しているかを見る道具なら、こちらは、物事をどう分けるかが答えそのものを動かすことを扱う道具である。引き出しは隣にあり、どちらから開けてもよい。

証拠を数えるという習慣には、たいへん心地よい性質がある。数は増えるし、増えた数は誰にでも見せられるし、しかも数えている限り、どれも読まなくて済む。皮肉なのは、数えるのをやめて出どころをたどると、たいてい数が減ることだ。6件が1件になり、その1件も総説だったりする。減った数のほうが、実は自分の持ち物である——増えていたのは、他人の持ち物の反射だった。