反対役を置くと判断が良くなる、を測った実験に、現場のものは見つけられなかった
会議に一人、反対役を置け。悪魔の代弁者と呼ばれる手続きで、判断を良くする方法としてよく紹介される。実験の裏づけもあり、集計もされている。ところが、その実験がどこで行われたかを見ると話が変わる。1969年から数えて、現場の判断を測った研究に、当方は行き着かなかった。
会議に一人、反対役を置け——という助言がある。悪魔の代弁者と呼ばれる役で、案に賛成でも反対でもない人が、わざと穴を探す係を引き受ける。研修でも本でも、判断を良くする手続きとしてよく紹介される。
この助言には、実験の裏づけがある。 集計もされていて、しかも同じ主題のメタ分析が2本ある。あるのだが、その実験がどこで行われたかを見ると、話が変わる。
手続きは、三つに分かれている
まず言葉をほどく。集団で決めるときの手続きとして、この文献群が比べてきたのは三つである。
合意——参加者が議論して、全員が納得できる一つの案に寄せていくやり方。悪魔の代弁者——一つの案を作り、別の人がその案の弱点だけを取り出して批判し、それを踏まえて案を直すやり方。弁証法的討議——最初から別の前提に立つ二つの案を作り、両方を突き合わせてから決めるやり方。後の二つは、反対意見を人の性格ではなく手続きとして組み込んでいる点で同じ系統にある。
**この系統の出発点は、1969年に *Management Science* 15巻8号へ出た論文である。戦略計画に弁証法的な進め方を持ち込むことを提案した。ここから二十年ほどのあいだに、三つの手続きを比べる実験が積み上がっていく。**
三つを比べる、という設計には理由がある。 反対役を置いた集団と、何もしない集団を比べても、比べているのは「何かをやったかどうか」になってしまう。合意という手続きを対照に置くことで、はじめて「反対を組み込む形が効くのか」を切り分けられる。 実験の側は、そこを丁寧に作っている。
同じ実験群を、同じ人が、二度集計した
**1989年に *Strategic Management Journal* 10巻3号へ出た4頁の研究ノートが、その実験群をメタ分析——複数の研究の結果を統計的に足し合わせる集計**——にかけた。要旨は、こう書いている。
> “The use of meta-analysis allows us to draw stronger inferences from past research than are possible from traditional literature. ... The use of meta-analysis leads to different conclusions from those drawn in an earlier review of these studies.”(メタ分析を使うと、従来の文献レビューで可能な以上に、過去の研究から強い推論を引き出せる。……メタ分析を使うと、これらの研究についての先行のレビューが導いたのとは異なる結論になる)
同じ研究群を見て、集計の仕方を変えたら、結論が変わった。 ここまでは著者自身の言葉である。
**そして翌1990年、同じ著者が、同じ主題のメタ分析をもう1本、今度は *Organizational Behavior and Human Decision Processes* 47巻1号へ出している。 心理学系の実験誌である。同じ主題のメタ分析が2本あるという事実が、この単位のいちばん静かな値切りになる。「メタ分析で効果が示されている」と言うとき、どちらの集計を指しているのかは、たいてい特定されていない。**
ここで一つ、正直に書いておくことがある。 1990年版について、当方は本文にも要旨にも到達できなかった。 出版社が公開しておらず、要旨も伏せられている。だから、この文章には効果の大きさの数字が1つも書いていない。 何本の研究を集めたのか、効果はどれくらいだったのか、被験者は誰だったのか——確かめられていない以上、書かない。
場は、実験室である
**この文献群の代表的な実験は、1986年に *Academy of Management Journal* 29巻1号へ出ている。** その要旨の第一文が、この単位の核である。
> “This laboratory study compared the effectiveness of the dialectical inquiry, devil's advocacy, and consensus approaches to strategic decision making by groups.”(本実験室研究は、集団による戦略的意思決定について、弁証法的討議・悪魔の代弁者・合意の三つのやり方の有効性を比較した)
実験室研究である、と原典が書いている。 参加者は集団に割り振られ、あらかじめ用意された課題を、決められた時間のなかで扱う。課題は現実の事業を模したものだが、決めたことが実際に実行されるわけではない。
実験室研究という言葉は、粗末な研究という意味ではない。 むしろ逆で、どの集団にどの手続きを割り当てるかを研究者が決められるからこそ、結果の差を手続きのせいだと言える。現場のデータでは、この割り当てができない。 反対役を置く会社は、そもそも置ける余裕のある会社かもしれず、置いたから良くなったのか、良い状態だから置けたのかが分からなくなる。実験室は、その混線を断つために選ばれている。
この設計は、比較のためには良い設計である。 手続き以外の条件を揃えられるからこそ、三つの手続きを比べられる。問題は、揃えるために外したものが、現場では外せないという点にある。 決めたことが自分に返ってくるかどうか、決める人どうしに上下があるかどうか、次の会議まで何日あるか——そういうものを外した場所で測られた差である。
被験者は、学生ではなかった
ここで、よく言われる限界の付け方を一つ訂正しておく。「どうせ学生を集めた実験だろう」という言い方である。
1989年に同誌32巻4号へ出た追試の要旨は、被験者をこう書いている。
> “This longitudinal laboratory study of fast-advancing middle managers involved in strategic planning compared the effectiveness of dialectical inquiry, devil's advocacy, and consensus approaches to …”(戦略計画に携わる昇進の早い中間管理職を対象とした本縦断的実験室研究は、弁証法的討議・悪魔の代弁者・合意の三つのやり方の有効性を、戦略的意思決定について比較した)
学生ではない。実務の管理職である。 しかも一時点ではなく、時間を追って測っている。それでも、場は実験室である。
だから、この単位の値切りの軸は「学生か、実務家か」ではない。「実験室か、現場か」である。 被験者の属性を持ち出して限界を語るのは、この文献群に対しては的を外している。外れていないのは、場所のほうだ。
なお、1986年の実験の被験者が誰で、何人だったのかは、当方は確かめられなかった。 本文が公開されていない。「学生◯名」とも「管理職◯名」とも書けない、というのが現在地である。
論争は、題名のまま残っている
**1996年に *Organizational Behavior and Human Decision Processes* 66巻3号へ出た論文の題名は、「構造化された討議をめぐる論争——統一理論に向けて」である。 中身は公開されておらず、当方は確認できていない。確認できるのは題名だけだが、その題名が、この文献群の状態をよく表している。**
手続きが提案されてから二十七年後に、まだ「論争」という語が題名に立っている。 そして、その論争を統一しようという試みが、また1本増える。
時間・変化:1969年から、場所が変わっていない
並べる。 1969年に弁証法的な進め方が戦略計画に持ち込まれ、1986年に三つの手続きを比べる実験室研究が出て、1989年にメタ分析と、実務の管理職を被験者にした縦断的な実験室研究が同じ年に出て、1990年にもう1本のメタ分析が出て、1996年に論争を整理する論文が出た。
変わったのは、集計の道具と、被験者の属性である。 文献レビューからメタ分析へ、学生を想定した設計から実務の管理職へ。変わらなかったのは、場所である。
そして、変わらなかったものがもう一つある。 1996年の題名に「論争」の語が立ったあとも、この三つの手続きのどれが良いのかは、一つに定まっていない。 定まらないまま、助言のほうだけが先に広まった。
当方は、これらの手続きが現場の判断をどう変えたかを測った研究に、行き着かなかった。 無いとは書けない。行き着かなかった、までである。
この単位の証拠がどこから来ているかを断っておく。 いずれも英語圏で行われた実験室研究と、その集計である。参加者は集団に割り振られ、決められた課題を、決められた時間のなかで扱った。手元の会議に、そのまま当てはまる保証はない。
妨げるもの、助けるもの、最初の一歩
妨げるものの筆頭は、反対役を置いたこと自体を、判断が良くなった証拠として扱うことである。実験室で差が出たのは、手続きを揃えて比べたからである。置いたかどうかと、効いたかどうかは、別に確かめるしかない。
もう一つ。これを人の話にすること。 誰の思い込みが強い、誰が慎重だ、という話に移った瞬間、この文献群の外に出る。ここで測られてきたのは、手続きであって、人柄ではない。
この単位では、性格や資質の判定はしない。 誰かのバイアスを見つける道具として使わない。書けるのは、三つの手続きが、実験室でどう比べられてきたか、までである。
助けるのは、反対の材料を、いつ・どういう形で出すかを、決める前に決めておくという一手である。その場の思いつきで反対役を頼むと、頼まれた人の立場の話になる。手続きを先に紙に書いておけば、話は案の中身に留まる。
もう一つ助けになるのは、この三つの手続きが、一人でも使える形に落ちることである。案を一つ作ってから自分で弱点だけを列挙するのは、悪魔の代弁者の形である。別の前提に立つ案をもう一つ作ってから見比べるのは、弁証法的討議の形である。 集団を集められなくても、順序だけは真似できる。ただし、その効き目もまた、実験室でしか測られていない。
最初の一歩は4分。自分が最近ひとりで決めたことを一つ選び、決める前に「やらない理由」を書き出していたかどうかを、手元のメモで確かめる。 書いていなければ「書いていない」と記録する。書いていない、と分かることが、この単位の最初の材料である。
次の単位は 279「探索投資ポートフォリオ判断力」——どこにどれだけ賭けるかを、業績とばらつきの関係から扱う。掛け算の別の項なので、話し合いの手続きをどれだけ整えても、ここが小さいままだと積は上がらない。
- 集団で決めるときの手続きとして比べられてきたのは三つ。合意(議論して一つの案に寄せる)、悪魔の代弁者(一つの案を作り別の人が弱点だけを批判する)、弁証法的討議(別の前提に立つ二つの案を作って突き合わせる)である。後の二つは、反対意見を人の性格ではなく手続きとして組み込む点で同じ系統にある
- この系統の出発点は1969年のManagement Science 15巻8号で、戦略計画に弁証法的な進め方を持ち込むことを提案した論文である。ここから二十年ほどのあいだに、三つの手続きを比べる実験が積み上がった。三つを比べる設計には理由があり、合意を対照に置くことで、はじめて反対を組み込む形が効くのかを切り分けられる
- 同じ主題のメタ分析は1本ではなく2本ある。1989年のStrategic Management Journal 10巻3号の4頁の研究ノートと、1990年のOrganizational Behavior and Human Decision Processes 47巻1号である。後者は戦略系ではなく心理学系の実験誌に載っている
- 1989年版の要旨は、メタ分析を使うとこれらの研究についての先行のレビューが導いたのとは異なる結論になる、と明言している。同じ研究群を見て、集計の仕方を変えたら結論が変わったということである
- 1990年版については、当方は本文にも要旨にも到達できなかった。出版社が公開しておらず要旨も伏せられている。したがって、採録された研究の本数も効果の大きさも被験者の構成も、この文章には書いていない
- 代表的な実験である1986年のAcademy of Management Journal 29巻1号は、要旨の第一文で、本実験室研究は弁証法的討議・悪魔の代弁者・合意の三つのやり方の有効性を比較した、と書いている。場が実験室であることは原典の文面で言い切れる。ただし被験者の属性と標本の大きさは本文が非公開で、当方は確認できていない
- 1989年の同誌32巻4号の追試の要旨は、被験者を、戦略計画に携わる昇進の早い中間管理職と書いている。学生ではなく、しかも時間を追って測られている。それでも場は実験室である。したがって値切りの軸は学生か実務家かではなく、実験室か現場かであり、現場で手続きの効果を測った研究に当方は行き着かなかった
| よくある誤解 | 実際のところ |
|---|---|
| 悪魔の代弁者の効果はメタ分析で示されているのだから、決着している | 同じ主題のメタ分析は1本ではなく2本ある。1989年のStrategic Management Journal 10巻3号と、1990年のOrganizational Behavior and Human Decision Processes 47巻1号である。しかも1989年版の要旨は、メタ分析を使うと、これらの研究についての先行のレビューが導いたのとは異なる結論になる、と明言している。同じ研究群でも、集計の仕方で結論が動いている。 |
| どうせ学生を集めた実験だろうから、現場には当てはまらない | 前半が原典と合わない。1989年に出た追試の要旨は、被験者を、戦略計画に携わる昇進の早い中間管理職と書いている。学生ではなく実務の管理職であり、しかも時間を追って測られている。当てはまるかどうかを疑うべき点は被験者の属性ではなく、場所である。1986年版も1989年版も、要旨に実験室研究と明記されている。 |
| バイアス対策とは、思い込みの強い人を見つけて直させることである | この文献群が比べてきたのは、合意・悪魔の代弁者・弁証法的討議という三つの手続きであって、人の性格や資質ではない。後の二つは、反対意見を人の性格ではなく手続きとして組み込む点で同じ系統にある。誰の思い込みが強いかという話に移った時点で、ここで積み上げられた比較の外に出る。 |
反対役という手続きの良いところは、置いたかどうかが誰の目にも見えることである。置いた。議事録にもそう書いてある。皮肉なのは、この手続きの効果が測られた場所として当方が行き着けたのが、決めたことが誰にも返ってこない部屋ばかりだったことだ。返ってくる部屋で何が起きるかは、当方が探した範囲では見当たらなかった。
Q1. この主題のメタ分析は1本ではなく ____ 本あり、それぞれ ____ 年と ____ 年に出ている。後者が載ったのは戦略系ではなく ____ 系の実験誌である。穴埋め
Q2. 1989年の追試の要旨は、被験者を「戦略計画に携わる ____ 」と書いている。それでも設計は ____ 研究であり、したがって値切りの軸は「学生か実務家か」ではなく「 ____ か ____ か」である。穴埋め
Q3. 1989年のメタ分析の要旨が明言していることとして正しいものはどれか。選択
Q4. このセルに、メタ分析の効果の大きさの数値が1つも書かれていない理由はどれか。選択
Q5. この文献群が比べてきた三つの手続きの説明として、正しい組み合わせはどれか。選択
紙かメモアプリを開く。この一か月で自分がひとりで決めたことを一つ選び、決めた日と、決めた内容を一行で書く。次に、決める前に自分が残した記録(メモ、下書き、送信済みの文章、予定表の書き込みなど、自分の手元にあるものだけ)を見て、そこに「やらない理由」「うまくいかない筋道」が一行でも書かれていたかを確かめ、書かれていれば何行あったかを数える。書かれていなければ「0行」と書く。最後に、その決めごとについて、いま思いつく「やらない理由」を一つだけ書き足す。決め直す必要はない。他人に尋ねない。他人の判断を評価しない。手元の記録だけで完結させる。
——とはいえ、その“正しい用法・用量”は、まだ誰も知らない。ここまでの研究に、あなたのデータは1件も入っていないからだ。平均は地図にすぎない。自分の“いい具合”は、試して探すしかない。
あなたの実験(N=1)を始める → プロジェクトに追加(記録機能は準備中)
- Mason R.O. (1969) 'A Dialectical Approach to Strategic Planning', Management Science 15(8):B-403-B-414, doi:10.1287/mnsc.15.8.B403 — doi.org
- Schwenk C. (1989) 'A meta-analysis on the comparative effectiveness of devil's advocacy and dialectical inquiry', Strategic Management Journal 10(3):303-306, doi:10.1002/smj.4250100309 — doi.org
- Schwenk C.R. (1990) 'Effects of devil's advocacy and dialectical inquiry on decision making: A meta-analysis', Organizational Behavior and Human Decision Processes 47(1):161-176, doi:10.1016/0749-5978(90)90051-A — doi.org
- Schweiger D.M., Sandberg W.R., Ragan J.W. (1986) 'Group approaches for improving strategic decision making: A comparative analysis of dialectical inquiry, devil's advocacy, and consensus', Academy of Management Journal 29(1):51-71, doi:10.2307/255859 — doi.org
- Schweiger D.M., Sandberg W.R., Rechner P.L. (1989) 'Experiential effects of dialectical inquiry, devil's advocacy and consensus approaches to strategic decision making', Academy of Management Journal 32(4):745-772, doi:10.2307/256567 — doi.org
- Katzenstein G. (1996) 'The Debate on Structured Debate: Toward a Unified Theory', Organizational Behavior and Human Decision Processes 66(3):316-332, doi:10.1006/obhd.1996.0059 — doi.org