「批判的思考力が伸びた」の平均は 0.195。31本のうち13本に、比べる相手がいなかった

論理的に考える力は教えられるか。教え方の話に見えて、これは物差しの話である。何をもって伸びたとみなすかが決まった瞬間に、答えのほうもだいたい決まってしまう。

「伸びた」と言えるまでに、いくつ関門がある

論理的に考える力は教えられるのか。この問いに答えるには、順番に4つの関門を通る必要がある。何を論理的に考える力とみなすかを決め、その定義に沿った検査を選び、比べる相手を置き、そのうえで差を数字にする。答えの大きさは、最後の関門より先の三つでほとんど決まってしまう。

最初の関門については、有名な文書がある。1990年に米国で公表された報告で、46人の学者・教育者・この分野の中心人物を集め、意見を往復させながら合意を作る手続きで、批判的思考とは何かをまとめたものである。学会の一つが後援した。報告は、認知的な技能の側面と、性向の側面を整理し、教え方と測り方についての勧告を並べている。

ここが肝心なところだ。この報告は、批判的思考を教えると成績が上がるかどうかを検証していない。 提案の文書である。にもかかわらず、教育の資料では「批判的思考力訓練で学業成績・問題解決能力が有意に向上（メタ分析多数）」という一文の代表文献として、この報告が置かれていることがある。提案が、効果の証拠の位置に座っている。

そして、この単位が扱うのはそこから先だけである。推論という道具そのものを点検する話は思考法の棚の持ち場なので、こちらは「教えると伸びるのか」という教育の効果の測り方に絞る。

値切り：「訓練で有意に向上（メタ分析多数）」

2013年に公表されたメタ分析は、大学生を対象に批判的思考の技能を伸ばそうとした介入研究を集めた。31本の研究から40の効果量が得られた。

結果は次のとおりである。平均の効果量は 0.195（95%信頼区間 0.087〜0.303）。 統計的には0と区別できるが、著者たちの言葉では小さい。そして研究間のばらつきが大きい。Q = 137.96（p < 0.001）、I² = 71.7% ——効果量の散らばりのうち、およそ7割が偶然ではない本物の違いだという意味である。

「有意に向上」は、この平均のことを指している。「有意」は、差が大きいという意味ではない。0ではない、という意味である。

もっと重い数字が、同じ論文の設計の欄にある。31本のうち13本が、統制群を置かない一群の前後比較だった。 学期の初めに測り、学期の終わりに測り、上がっていた——という形である。

この形では、少なくとも三つのものが介入の効果と分けられない。同じ検査を2度受けたことによる慣れ。 学期のあいだに起きた、介入とは無関係な成熟や経験。そして、測られていると知っている人の振る舞い。統制群は、この三つを両方の群に等しく配ることで、差し引けるようにする装置である。置かなければ、差し引けない。

「効果が無い」ではない。「その研究の設計では、効果と成熟を分けられない」である。 そして、分けられない研究が3本に1本より多く混ざったまま、平均は取られている。

物差しのほうが、結論を決めている

このメタ分析には、採録の条件がひとつあった。3種類の標準化された検査のどれかを使っていること。 どれも、1990年の合意報告に連なる定義を土台にしている。

条件としては筋が通っている。同じ物差しで測ったものだけを足し合わせないと、平均に意味が無いからだ。ただし裏返すと、その3種類のどれでも測らなかった研究は、集計に入っていない。 「批判的思考力が伸びたか」という問いへの答えは、この3枚の紙の上でだけ出されている。

では、その紙はどれくらい正確なのか。2013年に公表された検証がある。教育科学を専攻する大学1年生を対象に、広く使われている2種類の検査の翻訳版を、学年の始めと終わりの2回実施したものだ。2回とも受けたのは154人。

結果はこうだった。どちらの検査も、全体としての信頼性は高くなかった。 内的整合性の指標は、一方が 0.53 と 0.64、もう一方が2回とも 0.52。同じ人の同じ力を測っているなら、もっと揃うはずの値である。著者たちは、内容の妥当性と受験者の受け止めでは記述式を含む検査のほうが優れ、実施と採点の手軽さでは選択式のほうが勝る、と整理したうえで、この集団に対して十分な信頼性と妥当性を示した検査は無かったと述べている。

物差しの話は、もうひとつの方向からも来る。2011年に公表された文献レビューは、1994年から2009年までの高等教育における批判的思考の指導を扱った実証研究42本を、介入・検査・研究設計の三方向から読み直した。結論は三つ。同じ介入でも、実施のされ方によって結果が変わる。 数量的な検査ではとらえにくい変化を、質的なデータが示すことがある。そして、大半の研究は、研究設計・標本の大きさ・標本の代表性のいずれかに限界を抱えている。 著者たちは、因果関係を言うなら少なくとも準実験の設計を採るべきだと勧告した。

証拠は、数ではなく向きで効く

測り方の話から、少しだけ中身の話へ寄せる。ただし1段落だけである。

1998年の総説は、確証方向に集める傾向を「既存の信念・期待・手元の仮説に有利な形で、証拠を探したり解釈したりすること」と定義した。同じ総説は、これが意図的な一方的論証とは別物だとも書いている。「証拠の獲得と使用における、それと気づかない選択性」である。気づかないので、努力では止まらない。

では、頭の切れる人ほど止められるのか。2007年に公表された二つの実験は、1,400人を超える大学生（n = 1,484）に、自分の属性や習慣に関わる主張を評価させ、8通りの比較で、認知能力の指標と、自分の側に寄る度合いの関係を調べた。結論は素っ気ない。「認知能力の高い参加者ほど自分の側に寄る度合いが小さい、という証拠は、ほとんど見つからなかった。」 考え方の傾向を測る尺度とも、ほとんど無関係だった。

この棚は、検査の得点で人を格付けしない。 ここで言えるのは逆のことである——能力の側では止まらないなら、止められるのは手続きの側しかない。 判断のあとに、それに反する事実を1つだけ書き添える。数は1つでよい。同じ向きの証拠は何個集めても説を確定させないが、逆向きの証拠は1個で説を書き換えさせるからだ。なお、速い判断と遅い判断を二つの経路として整理する枠組みは2008年の総説にまとまっているが、遅いほうが必ず監査役になるとは限らない、とそこにも書かれている。

時間・変化：12週という境目と、1990年から2013年まで

介入の長さについて、2013年のメタ分析はひとつの傾向を報告している。12週より長い単発の介入が、最も大きな効果を示した。 12週より短い介入や、学位課程まるごとより大きかった。学科と介入の長さが、効果量のばらつきの一部を説明していた。

学位課程まるごとより単発の12週のほうが大きい、という並びは奇妙に見える。だが、測っているのが3種類の検査の点数だと考えれば、奇妙さは減る。 短期の介入は検査に近い形で教えることができ、4年の課程はそうでない。

もうひとつの時間が、定義から数字までの時間である。1990年に合意の報告が出て、その定義に沿った検査が作られ、その検査を使った研究だけが集められ、2013年に 0.195 という数字になった。23年かけて、提案が数字に変わった。 そして資料に載るときには、報告のほうが効果の代表文献として書かれている。

この棚がくり返し書くことをここでも1文だけ。学んでいる本人には、覚えた量も、伸びた幅も見えない。 筋道の通し方はとくにそうで、通っていないことは、通っていないという理由で気づけない。

妨げるもの、助けるもの、最初の一歩

妨げるものの筆頭は、言葉の強さを証拠の強さと取り違えることである。「有意に向上」「メタ分析多数」——どちらも強い響きがあるが、前者は0ではないという意味で、後者は本数の話である。0.195 という値と、31本のうち13本という設計は、その響きの裏側に置かれている。

ここで、この棚として毎回断ることがある。ここまでの数字は、ほとんどが欧米の大学生を対象に採られている。働きながら学んでいる大人を対象にした研究はごく少なく、検査室での得点と、実際の仕事や生活での判断は別物である。効果は短い期間で測られたものが多い。そして続けられた人のデータだけが残る。とりわけ、もともと学ぶ余裕のある人ほど、その学習法を試せる、という逆向きを、この種の研究は排除できない。

助けるのは、自分の判断に統制群を置くことである。研究の話ではない。ある判断をしたとき、その判断に反する事実を1つだけ書き添えるという手続きのことだ。1つでよい。1つも書けないなら、それは判断が強いのではなく、反対側をまだ探していないという意味である。

議論を仕掛ける必要はないし、誰かを試す必要もない。 手続きは自分の紙の上で完結する。

最初の一歩は5分。今日下した判断を1つ書き出し、それに反する事実を1つだけ書き添える。

次の単位は 057「メタ認知」——筋道が通っているかを外から点検する道具と、自分がどこまで分かっているかを内から点検する道具は、道具箱の別の引き出しに入っている。そして後者には、書籍から来た有名な効果量が一つ置いてある。

批判的思考の教育には、商品として都合のよい性質がある。誰も反対しない。そして、伸びたかどうかを、自分たちで作った検査で測れる。皮肉なのは、この分野でいちばん批判的に検討されていなかったのが、批判的思考を測る紙のほうだったことである。0.195 という数字は、思考の話ではなく、3枚の紙の上で起きたことの話だった。