「振り返りで成果が約25%上がる」は本当だった。ただし、隣に貼られていた論文は別の話をしていた
組織の学習について書かれた資料では、数字のほうがたいてい正しい。間違っているのは、その数字の隣に貼られた論文名のほうだ。しかも直せるのは、貼り間違えた人を責める組織ではなく、貼り直す手順を持っている組織のほうである。
関係と文化を置き終えて、適応と持続へ
前の単位で、居場所があることと辞めないことは別の変数だという話をした。関係と文化の4つはここで置き終わり、この単位からは、その上に適応と持続を載せる。
最初に置くのは、組織が経験を知識に変える仕組みである。個人がどう学ぶか——読み方、覚え方、自分ひとりの振り返り——は学習と成長の棚の持ち場なので、ここでは扱わない。この単位が見るのは一点だけだ。振り返りが、その組織の手続きとして存在しているかどうか。誰か熱心な人がやっているかどうかではない。
この区別には根拠がある。アーゴートとミロン=スペクターが2011年に Organization Science へ発表した枠組みは、組織の学習を「経験によって組織の知識が変わること」と定義し、その知識の置き場所を列挙した——人、道具、手順、そして誰が何を知っているかの網である。ここが要点で、構造や道具や手順に埋め込まれた知識は、人が抜けたときの打撃を和らげる。逆に言えば、人の頭の中にしか置かれていない学習は、その人が異動した日に組織から消える。
だから、制度かどうかを問うのは形式主義ではない。知識をどこに置いたか、という物理的な話である。
値切り:25%という数字は正しい。貼られていた論文が違う
この単位の設計のもとになった資料には、「振り返りをするチームは25%高いパフォーマンス」という一行と、その根拠として DiMenichi & Tricomi 2015 という名前が並んでいる。
その論文を実際に開いた。2015年に Frontiers in Psychology に載ったディメニチとトリコミの研究で、内容は、競争が注意・持続的な身体的努力・学習に及ぼす影響を調べた2つの実験である。参加者は個人で、相手は1人。チームの振り返りは出てこないし、25%という数字も出てこない。皮肉なことに debrief という語はこの論文にも現れる——実験の最後に、参加者へ種明かしをするという意味で。
では25%はどこから来たのか。タネンバウムとチェラソリが2013年に Human Factors へ発表した、振り返り(debrief)のメタ分析である。数字自体は概ね正しい。間違っているのは帰属先のほうだ。
これは「数字が嘘だった」型の話ではない。引用の連鎖を人から人へ渡っていく途中で、数字と出所が入れ替わった、という型である。悪意はいらない。孫引きが3回続けば足りる。そして、この型の誤りだけは、読み手の側から検算できる——名前で検索して、原典に25%が書いてあるかを見ればよい。
原典が実際に言っていること——25%には但し書きが付いている
タネンバウムとチェラソリのメタ分析は、31の研究から46の独立標本、のべ2,136人を統合した。振り返りを行った群は、対照群より成果がおよそ25%高い(d=.67)。この効果は、模擬環境でも実環境でも、医療でも医療以外でも、ほぼ同じ大きさで出た。
重要なのは但し書きのほうである。第一に構造——手順が決まっている振り返りは d=.69、中くらいの構造では .54 だった。第二に進行役——進行役がいる場合 .75、いない場合 .25 で、3倍の開きがある。第三にそろえること——チームの改善に焦点を当て、かつチームの水準で成果を測った場合、d は1.20まで上がった。
つまり効くのは「振り返りをやること」ではなく「どう組み立てるか」である。25%という数字だけを持ち出して会議を1つ増やすのは、この原典の読み方としては雑すぎる。
何を直すかには、層がある
振り返りの中身を見るとき、便利な骨格が1つある。やり方を直す層と、そのやり方を選ばせていた前提のほうを直す層を分ける、という見方だ。手順を1つ変えるのは前者、そもそも何を成果と呼んでいたかを変えるのは後者になる。
これは理論であって、効果を測った研究ではない。だから根拠としては使わない。使えるのは配置図としてだけである——自分たちの振り返りが、いつも内側の環だけを回っていないか、という点検に。
失敗だけを見ると、鏡が半分になる
エリスとダヴィディが2005年に Journal of Applied Psychology へ発表した準野外実験は、連続する航法訓練を受ける兵士を対象に、失敗した出来事だけを振り返る群と、失敗と成功の両方を振り返る群を比べた。成果が伸びたのは後者である。
さらに面白いのは、操作を加える前の測定だ。どちらの群でも、失敗した出来事についての心的な地図は、構成要素も結びつきも豊かだった。成功した出来事の地図は痩せていた。人は失敗のほうを細かく思い出す。この差は、両方を振り返るうちに縮んでいった。
マドセンとデサイが2010年に Academy of Management Journal へ発表した研究は、世界の軌道打ち上げ機の産業データで別の角度から同じ場所を照らした。組織は成功よりも失敗から多く学ぶ。そして失敗から得た知識のほうが長く残り、成功から得た知識は早く目減りする。うまくいった日の記録が誰にも読み返されないのは、忙しいからではなく、そもそも書かれないからである。
間違いを扱う手順を、訓練の中に置く
キースとフレーゼが2008年に Journal of Applied Psychology へ発表したメタ分析は、24の研究・2,183人を統合し、誤りを避けさせるのではなく誤りを起こさせて扱わせる訓練の効果を d=.44 と算出した。内訳のほうが示唆的で、訓練後の転移では .56、構造の違う新しい課題への転移では .80、訓練と似た課題では .20 だった。
効くのは、見たことのない場面に出たときである。「失敗してもよい」と言うことと、失敗が起きたときに何をするかの手順を持つことは、別の話だ。
時間・変化:振り返りが制度かどうかは、6か月後に判定される
やった日には、どんな振り返りも制度に見える。差が出るのは、そのあとである。
判定は3つの時点で下りる。第一に、次の似た場面が来る前に、その記録が読み返されるかどうか。第二に、進行役や記録係が入れ替わっても、同じ形で続くかどうか。第三に、書いた本人が異動したあと、記録が残っているかどうか。3つとも、熱意ではなく置き場所の問題である。
逆から言えば、制度になっていない振り返りには共通の見え方がある——毎回、形式が違う。前回の記録がどこにあるか誰も即答できない。そして議事の最後の5分に置かれている。
妨げるもの、助けるもの、最初の一歩
妨げるものの筆頭は、振り返りが評価の場に変わることである。原典の但し書きが「非難ではなく学習を目的とすること」を条件に挙げているのは、そこが崩れると事実そのものが出てこなくなるからだ。人は、記録に残ると分かっている場では、自分の判断を細かく話さない。
第二の妨げは、時間ではなく置き場所の不在である。30分は作れる。半年後に読める場所は、決めていないと作れない。
標本の偏りを断っておく。この単位の証拠は、医療・軍・航空の訓練場面に強く偏る。読者の組織はおそらく30人以下だが、ここまでの数字のほとんどは数百人以上の組織か、管理された訓練環境で採られたものだ。うまくいかなかった組織は調査に答えないし、取材もされない。日本の雇用慣行——異動の周期や、引き継ぎが人単位で行われる慣習——にそのまま当てはまる保証もない。数字は向きだけ持ち帰るのが誠実である。
助けるのは、書式を固定することだ。事実、原因の仮説、次に変える1点。3行でよい。書式が毎回同じなら、半年後に読み返せる。
最初の一歩は10分。直近の失敗を1件選び、その3行を書く。誰にも送らなくてよい。送らないほうが、事実が正確に書ける。
次の単位は 174「変化適応力」——ここまでで、組織が経験を知識に変える仕組みを置けた。次はその上に、方針が変わったときに、その知識が実際の行動へ移るまでにかかる時間を載せる。
- この単位が扱うのは、個人の学習法ではなく、組織が振り返りを手続きとして持っているかどうかだけである。アーゴートとミロン=スペクター 2011(Organization Science 22(5):1123-1137)は組織の学習を「経験によって組織の知識が変わること」と定義し、知識の置き場所を人・道具・手順・誰が何を知っているかの網に分けた。構造や手順に埋め込まれた知識は、人が抜けたときの打撃を和らげる
- 設計資料は「振り返りをするチームは25%高いパフォーマンス」という数字を DiMenichi & Tricomi 2015 に帰属させているが、その論文(Frontiers in Psychology 6:1282)は競争が注意・持続的な身体的努力・学習に及ぼす影響を調べた個人対象の実験で、チームの振り返りも25%という数字も出てこない
- 25%の実際の出所は Tannenbaum & Cerasoli 2013(Human Factors 55(1):231-245)である。31研究・46標本・2,136人を統合し、振り返りを行った群は対照群より成果が約25%高い(d=.67)。数字は概ね正しく、帰属先が入れ替わっている
- 同じメタ分析の但し書き:手順が決まっている振り返りは d=.69、中くらいの構造では .54。進行役がいる場合は .75、いない場合は .25。チームの改善に焦点を当て、かつチームの水準で成果を測った場合は d=1.20 まで上がる。効くのは、やるかどうかではなく、どう組み立てるかである
- Ellis & Davidi 2005(Journal of Applied Psychology 90(5):857-871)の準野外実験では、連続する航法訓練で、失敗した出来事だけを振り返った群より、失敗と成功の両方を振り返った群のほうが成果が伸びた。操作前の測定では、失敗についての心的な地図のほうが成功についてのものより構成要素も結びつきも豊かで、この差は両方を扱ううちに縮んだ
- Madsen & Desai 2010(Academy of Management Journal 53(3))は世界の軌道打ち上げ機産業のデータで、組織は成功よりも失敗から多く学び、失敗から得た知識のほうが長く残り、成功から得た知識は早く目減りすることを示した
- Keith & Frese 2008(Journal of Applied Psychology 93(1):59-69)のメタ分析(24研究・2,183人)では、誤りを避けさせるのではなく誤りを扱わせる訓練の効果は d=.44。訓練後の転移で .56、構造の違う新しい課題への転移で .80、訓練と似た課題では .20 で、効くのは見たことのない場面に出たときだった
| よくある誤解 | 実際のところ |
|---|---|
| 振り返りをするチームは25%高い成果を出す、という数字には出典がある。DiMenichi & Tricomi 2015 だ | 数字のほうは概ね正しく、帰属先が入れ替わっている。DiMenichi & Tricomi 2015 は Frontiers in Psychology に載った、競争が注意・持続的な身体的努力・学習に及ぼす影響の個人対象の実験で、チームの振り返りも25%という数字も出てこない。25%の出所は Tannenbaum & Cerasoli 2013(Human Factors)の振り返りのメタ分析である。引用の連鎖を渡る途中で出所が入れ替わるのは、悪意がなくても起きる。孫引きが3回続けば足りる |
| とにかく振り返りの場を増やせば、その25%ぶんが手に入る | 原典には但し書きが並んでいる。手順が決まっている振り返りは d=.69、中くらいの構造では .54。進行役がいれば .75、いなければ .25。狙いと測る水準をそろえた場合は d=1.20。効くのは回数ではなく組み立てのほうで、しかも非難ではなく学習を目的にすることが条件に入っている |
| 学ぶべきは失敗からだ。うまくいった件を振り返っても得るものは少ない | 連続する航法訓練の準野外実験では、失敗だけを振り返った群より、失敗と成功の両方を振り返った群のほうが成果が伸びた。人はもともと失敗のほうを細かく思い出す——操作前の測定でも、失敗についての心的な地図のほうが豊かだった。うまくいった件の記録が読み返されないのは、忙しいからではなく、そもそも書かれないからである |
学習する組織という言葉には、便利な性質がある。掲げているあいだは、まだ学んでいなくても点数が入るのだ。振り返りの効果を語る資料が、出典を貼り間違えたまま何年も回り続け、誰にも振り返られていない——という光景は、この分野の自己紹介としては完璧すぎる。しかも直すのは簡単で、名前を1つ検索し、原典に25%が書いてあるかを見るだけでよい。5分もかからない。5分で済むことが5年放置されるのは、時間が足りないからではない。読み返す場所を、誰も決めていないからである。
Q1. 振り返り(debrief)のメタ分析は、31研究から ____ の独立標本、のべ ____ 人を統合し、振り返りを行った群は対照群より成果がおよそ ____ % 高い(d= ____ )と報告した。穴埋め
Q2. 「振り返りをするチームは25%高いパフォーマンス」という一行の何が誤っているかを、数字と帰属先を分けて説明せよ。一問一答
Q3. 同じメタ分析が報告した条件別の効果量の組み合わせとして正しいものはどれか。選択
Q4. 連続する航法訓練の準野外実験で、失敗だけを振り返った群と、失敗と成功の両方を振り返った群では何が違ったか。操作前の測定で観察されたことも含めて答えよ。一問一答
Q5. 誤りを起こさせて扱わせる訓練のメタ分析(24研究・2,183人)で、効果が最も大きかったのはどの場面か。選択
今日1回、10分。直近1か月で、思ったとおりにならなかったことを1件選ぶ。大きさは問わない——返信が遅れた、見積もりが外れた、伝えたつもりが伝わっていなかった、で十分。それについて3行だけ書く。1行目は事実(いつ、何が起きたか。評価語を入れない)。2行目は原因の仮説(1つでよい。断定しなくてよい)。3行目は次に変える1点(手順・順番・置き場所のどれかにする。気合いは書かない)。書いたら、次に似た場面が来る前に読み返せる場所に置き、そこがどこかを一言メモする。誰にも送らない——送らない前提のほうが、事実が正確に書ける。組織に所属していない場合(フリーランス・休職中・求職中など)は、直近の仕事や活動、あるいは過去に所属した組織での出来事を1件選べばよい。手続きは同じである。
——とはいえ、その“正しい用法・用量”は、まだ誰も知らない。ここまでの研究に、あなたのデータは1件も入っていないからだ。平均は地図にすぎない。自分の“いい具合”は、試して探すしかない。
あなたの実験(N=1)を始める → プロジェクトに追加(記録機能は準備中)
- Tannenbaum S.I., Cerasoli C.P. (2013) 'Do Team and Individual Debriefs Enhance Performance? A Meta-Analysis', Human Factors 55(1):231-245 — journals.sagepub.com
- DiMenichi B.C., Tricomi E. (2015) 'The power of competition: Effects of social motivation on attention, sustained physical effort, and learning', Frontiers in Psychology 6:1282 — www.frontiersin.org
- Argote L., Miron-Spektor E. (2011) 'Organizational Learning: From Experience to Knowledge', Organization Science 22(5):1123-1137 — pubsonline.informs.org
- Ellis S., Davidi I. (2005) 'After-Event Reviews: Drawing Lessons From Successful and Failed Experience', Journal of Applied Psychology 90(5):857-871 — cris.tau.ac.il
- Madsen P.M., Desai V. (2010) 'Failing to Learn? The Effects of Failure and Success on Organizational Learning in the Global Orbital Launch Vehicle Industry', Academy of Management Journal 53(3) — journals.aom.org
- Keith N., Frese M. (2008) 'Effectiveness of error management training: a meta-analysis', Journal of Applied Psychology 93(1):59-69 — pubmed.ncbi.nlm.nih.gov