同じ患者について4つの見通しを別々に見積もらせたら、合計が164%になった
起こりうることを漏れなく書き出して、それぞれに確率を振る。整理としては正しい手つきに見える。ところが、書き出す粒度を変えると、同じ出来事に振られる確率の合計が変わる。分けたのは項目のはずだった。動いたのは答えのほうである。
分け方が、答えを作る
構造化思考という道具は、大きくて扱いにくい問題を、扱える大きさの箱に分けるためのものである。分ければ、それぞれについて考えられる。考えたものを足し戻せば、全体が分かる。そういう建てつけになっている。
この単位が置く一点は、その足し戻しが成立しない、というところにある。分け方を変えると、同じ出来事に振られる数が変わる。しかも変わったことは、分けた本人には見えない。分けた項目は、どれも正しく見えるからだ。
先に持ち場を狭めておく。学業の棚が扱ったノートの取り方や勉強法とは別物で、ここで見るのは覚えるための整理ではなく、分け方が判断そのものを動かすという一点である。
理屈のほうには名前が付いている。米国で1994年に Psychological Review へ出たサポート理論という枠組みで、人は出来事そのものに確率を振るのではなく、示された記述に振っている、と考える。同じ出来事でも、記述を細かく開くと、割り当てられる数が増える。これをアンパッキング効果という。
包んだまま聞くか、開いて聞くか
枠組みだけでは何も言えないので、実際に測った例を見る。1995年に Medical Decision Making へ出た報告は、この効果を臨床の判断で測った。
米国の大学病院の研修医59人に、腹痛を訴えて来院した若い患者の記述を渡す。片方の群には、候補として2つの診断名と「それ以外のすべて」を並べて確率を振らせる。もう片方の群には、その「それ以外」の中身のうち3つを名前を出して並べ、残りを「それ以外」とする。示された範囲は同じである。
結果はこうだった。短い一覧で「それ以外」に振られた確率は平均50%。長い一覧で、それに対応する部分に振られた確率を合計すると69%になった(p<0.005)。さらに、短い一覧で最初に挙がっていた候補に振られた確率は31%だったのが、長い一覧では16%に下がった。名前が出た項目は数を集め、包まれたままの項目は数を失う。
合計が164%になる
同じ報告のもう一つの課題は、もっと露骨である。ある患者のその後について、起こりうる4つの見通しを、別々の医師群に1つずつ見積もらせた。専門医52人が対象である。
返ってきた数は14%、26%、55%、69%だった。4つは互いに重ならず、これで全部を覆うように作られている。合計すると164%になる。95%信頼区間は134%から194%である。
どの数字も、単独で見れば妥当に見える。おかしいのは、足したときだけである。そして実務では、たいてい足さない。項目ごとに担当を割り振って、それぞれが自分の項目の確率を言う。合計が100を超えていることは、誰の机の上にも現れない。
枝を刈っても、その他は膨らまない
分け方の影響を、いちばん見やすい形で測ったのは、それよりずっと古い1978年の研究である。米国で Journal of Experimental Psychology: Human Perception and Performance へ出た。
使われたのは、車が始動しないという故障の木だ。原因を7つの枝に分けてある。バッテリーの充電不足、燃料系の不具合、始動系の不具合、点火系の不具合、その他のエンジンの問題、いたずら、そしてその他すべて。
参加者はオレゴン大学の学生148人。ある群には7枝の完全な木を見せ、別の群には枝を3本落とした木を見せる。落とされた枝の中身は、残った「その他すべて」に入るはずである。
ところが入らなかった。完全な木で「その他すべて」に振られた割合は平均.078。3本の枝(始動系・点火系・いたずら)を落とした群では、この欄は本来.468まで膨らむはずだったのに、実際には.140にしかならなかった。倍にはなったが、6倍にはならない。
これは知識の問題ではなかった。同じ手続きを経験のある自動車整備士29人にかけると、刈られた木での「その他すべて」は.215。本来は.441になるはずである。専門知識は、目の前に無い枝を思い出させてくれなかった。
見えているものが、考えられるものの範囲を決めている。これが構造化思考のいちばん危ないところである。図がきれいであるほど、図に無いものは思い浮かばない。
実験室の外でも
同じ形は、実務の判断でも観察されている。2012年に Judgment and Decision Making へ出た研究は、行方不明者の捜索計画を立てる経験者32人を対象に、捜索範囲の外に出た可能性をどう見積もるかを調べた。捜索範囲の外という選択肢を、5つの筋書きに開いてから見積もらせると、包んだまま見積もらせた場合より確率が上がった。32人中25人(78%)に、開いたときのほうが合計が大きくなるという形が出ている。
実務経験があっても、開かれた選択肢のほうが重く扱われる。
分けると、縮む場合もある
ここで、この効果を「分けると必ず膨らむ」と覚えると、次に外す。2004年に Journal of Experimental Psychology: Learning, Memory, and Cognition へ出た研究は、開き方によっては逆になることを示した。
典型的でない例を並べて開くと、判断は縮む。ある病気で亡くなる確率を尋ねるとき、「病気で」とだけ聞く場合より、「肺炎、糖尿病、肝硬変、その他の病気で」と開いたほうが、低く答えられる。開いたことで、聞き手の頭の中がその珍しい例で埋まってしまうからだ。
評価の判断でも同じ形が出る。2003年に Journal of Experimental Social Psychology へ出た研究の題は、そのまま結論になっている——全体は、部分の和より小さい。
つまりアンパッキング効果は、分けると数が増える法則ではない。分け方が、その項目に何を思い浮かべさせるかを決めていて、思い浮かんだものの重さが数になる、ということである。
値切り:MECEの効果を測った論文を探しにいく
ここで、この単位に割り当てられた値切りに入る。実務で最も広く使われている分け方の作法は、漏れなくダブりなく分ける、という原則である。関連して、結論を頂点に置いて根拠を階層に並べる書き方や、問題を枝に分けていく図法がある。いずれもコンサルティング会社と実務書に由来する。
この作法の効果を測った査読論文を探した。経営学・心理学・意思決定研究の学術データベース、および学術検索で、原則の名称そのもの、その英語の綴り、階層的な分解、問題の分割といった語を、解の質・所要時間・合意の得やすさといった結果変数と組み合わせて当たった。よく引かれる「ある大手コンサルティング会社の社内研究」についても、公開された一次情報を探した。たどり着けなかった。出てくるのは、実務書、同社の一般向け解説、採用面接の対策記事、研修事業者の資料である。
存在しないと断定はしない。ただ、確かめようとした人がたどり着けない場所にある効果は、根拠としては使えない。
そして皮肉なことに、たどり着ける証拠のほうは、この作法の前提を掘り崩す側にある。漏れなくダブりなく分けることが正しいとしても、どこで分けるかは無数にあり、どこで分けたかによって答えが動く。漏れとダブりが無いことは、分け方が1つに決まることを意味しない。1978年の故障の木は、7枝でも4枝でも、それぞれの中で漏れなくダブりなく分かれている。それでも答えは違った。
時間・変化:分け方は、いつ固まるか
分け方は、最初に書いた人の手つきで固まり、そのあと動かない。三つの段階がある。
第一に、最初の1枚。誰かが最初に描いた枝が、その後の議論の枠になる。この段階では、まだ別の分け方が思い浮かぶ。
第二に、その枝に担当が付いたとき。枝ごとに人が割り当てられると、枝の組み替えは人の組み替えになる。ここで分け方は事実上凍る。
第三に、数字が入ったとき。各枝に数字が入ると、枝の妥当性は数字の妥当性の話にすり替わる。誰も、枝の切り方そのものを疑わなくなる。
だから、分け方を疑う機会は最初の1枚の段階にしかない。しかもその段階は、いちばん短い。
妨げるもの、助けるもの、最初の一歩
妨げるものの筆頭は、きれいに分かれた図を、正しさの証拠として扱うことである。図のきれいさは、分けた人の技量を表すが、分け方の妥当性は表さない。
第二の妨げは、その他という欄を作って安心することだ。1978年の研究が示したのは、その欄が、そこに入るはずのものを受け取らないということだった。整備士でも受け取らなかった。
標本の偏りも断っておく。ここまでの証拠は、米国とイスラエルとカナダの、大学生・研修医・専門医・整備士・捜索計画の実務者を対象にした課題で採られている。実験室で数分の課題として測られたものが、締切のある本物の判断にそのまま当てはまるとは限らない。日本語での追試はほとんど見当たらない。数字は方向だけ持ち帰るのが誠実である。
助けるのは、分けたあとに足すことだ。合計が100を超えるか、100に足りないかを見るだけでよい。超えていれば、開いた項目に重みが移っている。足りなければ、包んだままの項目に落ちている。
最初の一歩は5分。今日の懸案を1つ選び、起こりうることを3つに分けて書き出し、それぞれに%を付ける。足す。100からどれだけずれたかを書いて、それを見返す。ずれが0でも構わない。0だと分かっている状態と、足していない状態は違う。
次の単位は 185「システム思考」——構造化思考が、物事をどう分けるかが答えを動かすことを扱う道具なら、こちらは、分けたものが時間をまたいで互いに効き合う様子を扱う道具である。引き出しは隣にあり、どちらから開けてもよい。
- Tversky & Koehler 1994(Psychological Review 101(4):547-567)のサポート理論は、人は出来事そのものではなく、示された記述に確率を振ると考える。同じ出来事でも記述を細かく開くと割り当てられる数が増える。これをアンパッキング効果という
- Redelmeier, Koehler, Liberman & Tversky 1995(Medical Decision Making 15(3):227-230)では、米国の大学病院の研修医59人に同じ症例を示し、候補を2つと「それ以外」で示した場合の「それ以外」への割り当ては平均50%だったのに、同じ範囲を3つ名前を出して開くと合計69%になった(p<0.005)。短い一覧で31%だった候補は、長い一覧では16%に下がった
- 同じ報告の別課題では、専門医52人に、ある患者の互いに重ならない4つの見通しを別々に見積もらせたところ、14%・26%・55%・69%が返り、合計は164%(95%信頼区間134%から194%)になった。どの数字も単独では妥当に見える。おかしいのは足したときだけである
- Fischhoff, Slovic & Lichtenstein 1978(Journal of Experimental Psychology: Human Perception and Performance 4(2):330-344)は、車が始動しないという7枝の故障の木を使った。完全な木で「その他すべて」に振られたのは平均.078。枝を3本落とすと本来.468まで膨らむはずが、実際は.140にとどまった。経験のある自動車整備士29人でも.215(本来は.441)だった
- Hill 2012(Judgment and Decision Making 7(4):488-498)は、行方不明者の捜索計画を立てる経験者32人を対象に、捜索範囲の外という選択肢を5つの筋書きに開いてから見積もらせると確率が上がることを示した。32人中25人(78%)で、開いたときのほうが合計が大きくなった
- 分ければ必ず膨らむわけではない。Sloman, Rottenstreich, Wisniewski, Hadjichristidis & Fox 2004(Journal of Experimental Psychology: Learning, Memory, and Cognition 30(3):573-582)は、典型的でない例を並べて開くと判断がむしろ縮むことを示した。Van Boven & Epley 2003(Journal of Experimental Social Psychology 39(3):263-269)は、評価的な判断でも全体が部分の和より小さくなることを報告している
- 漏れなくダブりなく分ける原則、結論を頂点に置く書き方、問題を枝に分ける図法の効果を測った査読論文を、経営学・心理学・意思決定研究の学術データベースおよび学術検索で、解の質・所要時間・合意の得やすさと組み合わせて探したが、たどり着けなかった。よく引かれる「ある大手コンサルティング会社の社内研究」の公開された一次情報も見当たらない
| よくある誤解 | 実際のところ |
|---|---|
| 漏れなくダブりなく分ければ、分解として正しく、答えも安定する | この作法の効果を測った査読論文を、学術データベースと学術検索で、解の質・所要時間・合意の得やすさを結果変数として探したが、たどり着けなかった。よく引かれる大手コンサルティング会社の社内研究の公開版も見当たらない。しかも、たどり着ける証拠のほうが前提を掘り崩す。1978年の故障の木は、7枝でも4枝でも、それぞれの中で漏れなくダブりなく分かれている。それでも答えは違った。漏れとダブりが無いことは、分け方が1つに決まることを意味しない |
| 「その他」という欄を作っておけば、書き落とした可能性はそこに入る | Fischhoff, Slovic & Lichtenstein 1978 では、7枝の故障の木から3本を落とすと、その分は「その他すべて」に入るはずだった。完全な木での.078に対し、本来は.468まで膨らむべきところ、実際には.140にとどまった。経験のある自動車整備士29人でも.215(本来は.441)である。専門知識は、目の前に無い枝を思い出させてくれなかった |
| 細かく分けて示すほど、判断は正確になる | Redelmeier et al. 1995 では、同じ範囲を開いて示すと割り当ての合計が50%から69%へ増え、名前が出た項目は数を集め、包まれたままの項目は数を失った。逆に Sloman et al. 2004 は、典型的でない例で開くと判断がむしろ縮むことを示している。分けることは判断を正確にする操作ではなく、何を思い浮かべさせるかを変える操作である |
分解の図には、たいへん立派な性質がある。一晩で作れて、会議で配れて、しかも見た瞬間に「よく整理されている」と言ってもらえる。誰も、そこに描かれていない枝の話はしない——描かれていないのだから、話しようがない。皮肉なのは、その図がいちばん役に立つ使い方が、たぶん、足し算だということだ。各枠に数字を入れて、下で足す。100を超えていたら、図がきれいすぎたということである。
Q1. Redelmeier ら 1995 では、研修医 ____ 人に同じ症例を示し、候補を2つと「それ以外」で示した場合の「それ以外」への割り当ては平均 ____ % だったが、同じ範囲を3つ名前を出して開くと合計 ____ % になった。別の課題では、専門医52人に4つの見通しを別々に見積もらせると合計が ____ % になった。穴埋め
Q2. Fischhoff, Slovic & Lichtenstein 1978 の故障の木の実験について、本文の内容に合うものはどれか。選択
Q3. 漏れなくダブりなく分ける原則やロジックツリーについて、本文が書いていることに合うものはどれか。選択
Q4. 本文が示した「分け方が固まる」3つの段階を、早い順に並べよ。(各枝に数字が入り、枝の妥当性が数字の妥当性の話にすり替わる/誰かが最初の1枚を描き、その枝が議論の枠になる/枝ごとに担当が付き、枝の組み替えが人の組み替えになる)並べ替え
Q5. アンパッキング効果について本文が述べた順に、次の3つを並べよ。(分け方は、その項目に何を思い浮かべさせるかを決めている/同じ出来事でも記述を細かく開くと、割り当てられる数が増える/典型的でない例で開くと、判断はむしろ縮む)並べ替え
今日か明日に結果が気になっている懸案を1つ選ぶ(返事が来るか、作業が終わるか、予定どおり進むか、届くか、など。医療や投資に関する判断はここでは選ばない)。起こりうることを3つに分けて、紙かメモアプリに書き出す。3つは互いに重ならず、これで全部を覆うようにする(3つめを「それ以外」にしてもよい)。次に、それぞれに起こる確からしさを%で書く。書くときに合計を意識しない——1つずつ、独立に書く。3つ書き終えてから足す。合計と、100からのずれを記録する。最後に、ずれを見ながら1行だけ書く——増えていたなら細かく開いた項目はどれか、足りないなら包んだままの項目はどれか。誰にも見せない。他人に確率を出させたり、誰かの見通しを採点したりはしない。
——とはいえ、その“正しい用法・用量”は、まだ誰も知らない。ここまでの研究に、あなたのデータは1件も入っていないからだ。平均は地図にすぎない。自分の“いい具合”は、試して探すしかない。
あなたの実験(N=1)を始める → プロジェクトに追加(記録機能は準備中)
- Tversky A., Koehler D.J. (1994) 'Support Theory: A Nonextensional Representation of Subjective Probability', Psychological Review 101(4):547-567 — psycnet.apa.org
- Redelmeier D.A., Koehler D.J., Liberman V., Tversky A. (1995) 'Probability Judgment in Medicine: Discounting Unspecified Possibilities', Medical Decision Making 15(3):227-230 — journals.sagepub.com
- Fischhoff B., Slovic P., Lichtenstein S. (1978) 'Fault Trees: Sensitivity of Estimated Failure Probabilities to Problem Representation', Journal of Experimental Psychology: Human Perception and Performance 4(2):330-344 — bitsavers.trailing-edge.com
- Hill K.A. (2012) 'Cognition in the woods: Biases in probability judgments by search and rescue planners', Judgment and Decision Making 7(4):488-498 — www.cambridge.org
- Sloman S.A., Rottenstreich Y., Wisniewski C., Hadjichristidis C., Fox C.R. (2004) 'Typical versus atypical unpacking and superadditive probability judgment', Journal of Experimental Psychology: Learning, Memory, and Cognition 30(3):573-582 — pubmed.ncbi.nlm.nih.gov
- Van Boven L., Epley N. (2003) 'The unpacking effect in evaluative judgments: When the whole is less than the sum of its parts', Journal of Experimental Social Psychology 39(3):263-269 — experts.colorado.edu