試験が測ったのは「当たる」ではなく、二つの取り違えが減ることだった
作って、測って、学べば当たる——という言い方は、いかにも手続きが整って聞こえる。皮肉なことに、この主張は本当に無作為化比較試験にかけられており、そこで教えられていたのは「作ること」ではなく「作る前に、外れる形の予測を書くこと」だった。しかも主張が出てから検証が届くまでに、7年かかっている。
前の単位で、新しさの呼び名が事後に貼られることを見た。ここでは、呼び名を離れて手元で確かめるとどうなるのかを扱う。
この単位が扱うのは一点——作って、測って、学ぶ、という手つきの何が測られ、何が上がったのかである。作り方の技法は扱わない。
まず、俗説の側がどう書いているかを見る
この考え方を広めた本は2011年に出ている。一般向けの単行本であり、査読の手続きを通っていない。 翌々年の2013年5月には *Harvard Business Review* に短い記事が出た。こちらも査読誌ではない。
その記事の中に、有名な数字がある。“As new research by Harvard Business School's Shikhar Ghosh shows, 75% of all start-ups fail.”(ハーバード経営大学院のシカール・ゴーシュの新しい研究が示すように、新興企業の75%は失敗する)。記事本文には、この調査の掲載誌も巻号も書かれていない。
そして記事が主張しているのは、この手つきを広く採れば失敗は減るだろうという見通しである。査読を通っていない媒体に書かれた、将来についての予測——これが、値切りの起点である。
その後、本当に無作為化比較試験が走った
ここからが面白いところで、この予測は、実際に試験にかけられた。2020年に *Management Science* 66巻2号へ出た研究がそれである。
設計はこうである。イタリアの新興企業116社を対象に、約1年のあいだに16時点のデータを取った。処置群と対照群の両方が、市場から反応を得る方法と、思いつきの実現しやすさを見積もる方法について、10回の一般的な講習を受ける。 違いはそのあとで、処置群にだけ、自分の思いつきの成り行きを予測する枠組みを立て、その仮説を厳密に検定することを教えた——研究者が研究でやるのと同じように、と論文は書く。対照群のほうは、自分の直感に従って見積もらせた。
比べたのは「作ったかどうか」ではない。「外れる形の予測を書いて、確かめにいったかどうか」である。
何が上がって、何が上がらなかったか
2020年版の結果は、要旨に短く書かれている——“entrepreneurs who behave like scientists perform better, are more likely to pivot to a different idea, and are not more likely to drop out than the control group in the early stages”(科学者のように振る舞った側は、成績がよく、別の考えへ切り替えることが多く、初期の段階で脱落しやすいわけではなかった。逐語は出版版の要旨から採った。掲載前の草稿版は同じ趣旨を別の言い回しで書いている)。
上がったのは成績と切り替えの多さ。脱落は増えていない。 ここを取り違えないことが、この単位のいちばんの勘所である。
4つの試験・759社の追試では、二つが同時に動いた
2024年に *Strategic Management Journal* 45巻6号へ出た追試は、規模がまるで違う。4つの無作為化比較試験を合わせて759社、11,463のデータ点。 実施地と年も書かれている——2016年と2017年にイタリアのミラノ、2018年にトリノ、2019年に英国のロンドン。4つとも事前登録されている(登録番号が本文に列挙されている)。
結果は二つある。“The intervention raises the probability of termination by 9.8 percentage points (p.p.) (p = .001).”(介入は、中止の確率を9.8パーセントポイント引き上げる)。そして——“Treated firms earned EUR 6999.327 more than control firms (p = .030).”(処置群は対照群より6,999.327ユーロ多く稼いだ)。
やめる判断が早くなったのか、売上が上がったのか、という二択にはならない。両方が報告されている。 しかも2020年版では脱落は増えていなかった。規模と時期が違えば、同じ介入でも動く指標が変わる——ここは、そのまま書いておくのが正確である。
なお、パーセントとパーセントポイントは別物である。9.8ポイントは、中止の確率が9.8%になったという意味でも、9.8%増えたという意味でもない。確率の水準そのものが9.8ポイントぶん高くなった、という意味である。
理論上の説明は「当たる」ではなく「精度が上がる」
論文自身が、なぜそうなるのかを書いている。“a scientific approach improves precision—it reduces the odds of pursuing projects with false positive returns and increases the odds of pursuing projects with false negative returns.”(科学的な進め方は精度を上げる。見かけ倒しの案件を追い続ける見込みを下げ、見かけが悪いだけの案件を拾う見込みを上げる)。
当たりを増やす話ではない。二つの取り違えを減らす話である。 見込みが無いのに続けてしまう側と、見込みがあるのに捨ててしまう側。手を止める判断が早くなるのは、この理屈からすれば結果であって、目的ではない。
「切り替え」は、一回の決断ではない
2023年に *Strategic Management Journal* 44巻1号へ出た研究(オンライン公開は2020年)は、切り替えという言葉そのものを調べた。要旨はこう書く——“Decision-makers chose to change their strategies only after new information conflicted with or expanded their beliefs.”(決める側が方針を変えたのは、新しい情報が自分の見立てと食い違うか、それを広げたあとだった)。そして——“A pivot, or strategic reorientation, was not achieved with a single decision, but by incrementally exiting or adding strategy elements over time.”(切り替えは一つの決断で達成されたのではなく、要素を少しずつ抜き差ししていくことで達成された)。
「ピボットした」と後から言えるものは、その場では小さな出し入れの連続だった。
学術の側から見ると、この手つきはどこに置かれるか
2019年に *Industrial and Corporate Change* 28巻3号へ出た論考は、この手つきが実務家の会話としては主流になった一方で、経営と技術戦略の学術の議論からはほぼ切り離されてきたと書き、組織学習・実物オプション・新製品開発・技術の進化という既存の研究の系譜のなかに位置づけ直している。
新しい方法ではなく、既にあった考えの実行の形である——という置き方は、効果の期待値を落ち着かせるのに役に立つ。
時間・変化:2011年から2024年まで、主張と検証がどう並んだか
順番はこうである。2011年、一般向けの単行本が出る。2013年、査読誌ではない媒体に、広く採れば失敗が減るだろうという見通しが載る。2019年、査読誌に、この手つきを学術の系譜へ置き直す論考。2020年、116社の試験が、成績と切り替えの多さは上がり、脱落は増えないと報告する。2023年、切り替えが一回の決断ではないことが示される。2024年、759社・4試験の追試が、中止の確率9.8ポイントと売上の増加の両方を報告する。
主張が先で、検証が7年遅れた。そして検証が測ったのは、主張が約束していたものとは少しずれた指標だった。
妨げるもの、助けるもの、最初の一歩
妨げるものの筆頭は、作ることを、確かめることの代わりに使うことである。試験で教えられたのは、作る量ではなく、外れる形の予測を先に書くことだった。予測を書かずに作れば、何が起きても学びになってしまう。
標本の偏りを断っておく。ここまでの数字は、イタリアと英国の、しかも講習に参加できた新興の企業から採られている。 大きな組織の中の開発にも、公的機関の研究にも、そのまま当てはまるとは書かれていない。日本を対象にした同型の査読研究はごく少ない。そして——成功した組織のデータだけが残る、という逆向きを排除できない。 講習に来られなかった側も、途中で消えた側も、追跡から抜けている。
助けるのは、確かめる前に、外れたら何が見えるはずかを1行書くという一手である。もしこれが本当なら、何が観察できるはずか。もし違うなら、何が観察されるはずか。 二行書ければ、その日の作業は試験になる。
最初の一歩は5分。今日、手元で「作らずに確かめられたこと」と「作ってみないと分からなかったこと」を1つずつ書き分ける。 どちらかが空欄でもよい。空欄だったことが、そのまま観察になる。
次の単位は 293「開発の関門を設計するには?」——個人の手元の確かめ方から、続けるか止めるかを決める仕組みの話へ進む。
- この考え方を広めた本は2011年の一般向け単行本で、査読の手続きを通っていない。2013年5月の Harvard Business Review の記事(こちらも査読誌ではない)は、新興企業の75%が失敗するという数字を引きながら、この手つきを広く採れば失敗は減るだろうという見通しを書いた。記事本文には、その数字の調査の掲載誌も巻号も書かれていない
- その予測は実際に試験にかけられた。2020年に Management Science 66巻2号へ出た研究は、イタリアの新興企業116社を約1年・16時点で追った無作為化比較試験である。処置群と対照群の両方が、市場から反応を得る方法と実現しやすさの見積もりについて10回の一般講習を受け、処置群にだけ、成り行きを予測する枠組みを立てて仮説を厳密に検定することを教えた
- 2020年版の結果は、科学者のように振る舞った側は成績がよく、別の考えへ切り替えることが多く、初期の段階で脱落しやすいわけではなかった、というものである。上がったのは成績と切り替えの多さで、脱落は増えていない
- 2024年に Strategic Management Journal 45巻6号へ出た追試は、4つの無作為化比較試験を合わせて759社・11,463データ点。実施は2016年と2017年にイタリアのミラノ、2018年にトリノ、2019年に英国のロンドンで、4つとも事前登録されている。介入は中止の確率を9.8パーセントポイント引き上げ(p=.001)、処置群は対照群より6,999.327ユーロ多く稼いだ(p=.030)
- やめる判断が早くなったのか売上が上がったのかは二択にならない。2024年の追試では両方が報告され、2020年版では脱落は増えていない。またパーセントとパーセントポイントは別物で、9.8ポイントは確率の水準が9.8ポイントぶん高くなったという意味である
- 2020年の論文自身の説明は、当たりが増えるではなく精度が上がる、である。科学的な進め方は、見かけ倒しの案件を追い続ける見込みを下げ、見かけが悪いだけの案件を拾う見込みを上げる。手を止める判断が早くなるのは、この理屈からすれば結果であって目的ではない
- 2023年に Strategic Management Journal 44巻1号へ出た研究(オンライン公開は2020年)は、決める側が方針を変えたのは新しい情報が自分の見立てと食い違うか、それを広げたあとだったこと、切り替えは一つの決断ではなく要素を少しずつ抜き差ししていくことで達成されたことを報告した。2019年に Industrial and Corporate Change 28巻3号へ出た論考は、この手つきが実務家の会話としては主流になった一方で学術の議論からはほぼ切り離されてきたと書き、組織学習・実物オプション・新製品開発・技術の進化の系譜に置き直している
| よくある誤解 | 実際のところ |
|---|---|
| 作って、測って、学べば当たる | 試験で教えられたのは作る量ではない。2020年の無作為化比較試験(イタリアの新興企業116社・約1年・16時点)で処置群にだけ教えられたのは、成り行きを予測する枠組みを立て、仮説を厳密に検定することだった。両群とも同じ10回の一般講習を受けている。比べたのは、作ったかどうかではなく、外れる形の予測を書いて確かめにいったかどうかである |
| 効いたのは、早くやめる判断だけである | 二択にならない。2024年の追試(4試験・759社・11,463データ点)は、中止の確率が9.8パーセントポイント上がり(p=.001)、処置群が対照群より6,999.327ユーロ多く稼いだ(p=.030)と、両方を報告している。2020年版では脱落は増えていない。論文自身の説明は、当たりが増えるではなく精度が上がる、である |
| ピボットとは、方針をがらりと変える一回の決断である | 2023年に Strategic Management Journal 44巻1号へ出た研究は、切り替えが一つの決断で達成されたのではなく、要素を少しずつ抜き差ししていくことで達成されたと報告した。方針が変わったのも、新しい情報が自分の見立てと食い違うか、それを広げたあとだった |
作ってみる、という言い方のいちばん心地よいところは、何が起きても学びになることである。うまくいけば読みが当たったことになり、うまくいかなければ学びが得られたことになる。実際に試験が教えていたのは、その手前の一行だった——外れたら何が見えるはずか。それを書かないかぎり、手元にどれだけ試作が積み上がっても、確かめたことにはならない。積み上がるのは、ただの試作である。
Q1. 2024年に Strategic Management Journal へ出た追試は、4つの無作為化比較試験を合わせて ____ 社・11,463データ点を分析し、介入が中止の確率を ____ パーセントポイント引き上げた(p=.001)と報告した。穴埋め
Q2. 2020年の無作為化比較試験で、処置群と対照群が同じだったところと、違ったところを書きなさい。一問一答
Q3. 2020年版の試験が報告した結果はどれか。選択
Q4. 2020年の論文が書いている、この進め方が効く理屈はどれか。選択
Q5. この単位で扱った主張と検証を、年の順に並べなさい。並べ替え
紙かメモアプリを開く。今日、手元でやったことを思い返して、作らずに確かめられたことを1つ、作ってみないと分からなかったことを1つ、それぞれ1行で書く。どちらかが空欄でもよい。空欄だったことも、そのまま記録する。余裕があれば、作ってみないと分からなかったほうに、作る前に書けたはずの予測を1行だけ添える。誰かに尋ねる必要も、何かを止めたり始めたりする必要もない。いま組織に属していない読者、一人で作っている読者は、続けている制作や調べもので同じ形に書けばよい。
——とはいえ、その“正しい用法・用量”は、まだ誰も知らない。ここまでの研究に、あなたのデータは1件も入っていないからだ。平均は地図にすぎない。自分の“いい具合”は、試して探すしかない。
あなたの実験(N=1)を始める → プロジェクトに追加(記録機能は準備中)
- Camuffo A., Cordova A., Gambardella A., Spina C. (2020) 'A Scientific Approach to Entrepreneurial Decision Making: Evidence from a Randomized Control Trial', Management Science 66(2):564-586 — doi.org
- Camuffo A., Gambardella A., Messinese D., Novelli E., Paolucci E., Spina C. (2024) 'A scientific approach to entrepreneurial decision-making: Large-scale replication and extension', Strategic Management Journal 45(6):1209-1237 — doi.org
- Kirtley J., O'Mahony S. (2023) 'What is a pivot? Explaining when and how entrepreneurial firms decide to make strategic change and pivot', Strategic Management Journal 44(1):197-230 — doi.org
- Contigiani A., Levinthal D.A. (2019) 'Situating the construct of lean start-up: adjacent conversations and possible future directions', Industrial and Corporate Change 28(3):551-564 — doi.org
- Blank S. (2013) 'Why the Lean Start-Up Changes Everything', Harvard Business Review, May 2013(査読誌ではない) — hbr.org
- Ries E. (2011) The Lean Startup: How Today's Entrepreneurs Use Continuous Innovation to Create Radically Successful Businesses, New York: Crown Business(一般書・査読誌ではない、2026年閲覧) — openlibrary.org