「MVPで検証できる」——だが安く作ることと学べることは別。質は事前の仮説で決まり、実験には選び方とコストがある
青段の締めとして、いよいよ作って試す番だ。よく登場するMVP(必要最小限の試作)だが、『安く作れること』と『そこから学べること』は別だ。実験を多く・きちんと回す会社は伸びる一方、回せる能力には差があり(Koning ら 2022)、仮説ベースの探索は実行の質しだい(Leatherbee & Katila 2020)。実験にはその前に仮説が要り(Felin ら 2020)、何を作るかより『何を確かめ、どうなったら間違いと認めるか』を先に決めることで質が決まる。さらに、どの仮説をどの順でいくらまで試すかの選択が戦略で(Gans ら 2019)、実験には固有のコスト構造があり(Ewens ら 2018)、先が読めなければ複数を同時に試すのも戦略になる(Andries ら 2013)。安く作ることは手段で、目的は学ぶことだ。
「MVPで検証できる」——だが、安く作ることと学べることは別
前の単位までで、片づけたい用事の仮説を立て、その深さを確かめ、市場を見立ててきた。青段(課題の発見)の締めとして、いよいよ作って試す番だ。ここでよく登場するのが、MVP(エムブイピー=必要最小限の試作。無駄なく検証するために、まず小さく作ってみる、という実務書由来の考え方)である。
「とにかくMVPを作って世に出せば、当たるかどうか検証できる」——そう思いやすい。だが、この単位が最初に置く注意はこうだ。「安く作れること」と「そこから学べること」は、別のことだ。 手早く小さく作ること自体は、難しくない。難しいのは、その試作が、あなたの仮説の「どこが正しくて、どこが間違っているか」を、はっきり教えてくれる形になっているかである。ただ小さいものを出しても、反応が鈍かったとき、「作りが雑だったのか」「売り方が悪かったのか」「そもそも誰も欲しくないのか」の見分けがつかない。それでは、安く作れても、何も学べていない。MVPは、魔法の検証装置ではないのだ。ここには、見過ごされやすい落とし穴がある。「小さく作る」という言葉は、つい「手を抜いて作る」と取り違えられる。だが、この二つはまるで違う。学びのために削ぎ落とすのと、単に雑に作るのは、別のことだ。前者は「何を確かめたいか」がはっきりしているから、確かめに関係ない部分だけを潔く省ける。後者は、何を確かめたいかが曖昧だから、全体がぼんやり中途半端になる。同じ「小さいもの」でも、その背後に問いがあるかどうかで、返ってくる答えの鋭さが、まるで違ってくる。
実験する会社は伸びる——ただし、能力に差がある
「小さく作って試す」という発想そのものは、実証にも支えられている。Koning、Hasan、Chatterji が2022年に、二つの案を比べて反応を見る実験(A/Bテスト)を、多く・きちんと回すスタートアップほど、その後よく成長する傾向を示した。試して学ぶ姿勢は、確かに効く。
だが、同じ研究には、見落とせない但し書きがある。実験を「回せる能力」には、大きな差がある、ということだ。道具(実験のためのツール)を手にしたからといって、誰もが自動で学べるわけではない。Leatherbee と Katila も2020年に、リーンの核である「仮説を立てて、それを小さく試して確かめる(仮説ベースの探索)」やり方が、早い段階のチームの成果と結びつくことを示したが、これもやり方を知っていることと、実際にうまく実行することは、別だと釘を刺している。つまり、「実験しました」という事実は、成果を保証しない。問われるのは、回数や道具ではなく、一回一回の実験の「質」である。同じ回数の実験をしても、そこから引き出せる学びの量は、人によって大きく変わる。上手な人は、一回の試作から、いくつもの問いに答えを出す。下手な人は、何度試しても、「なんとなくうまくいかなかった」以上のことが分からない。この差は、才能というより、習慣に近い。何を確かめたいのかを言葉にし、結果を素直に読み、次の問いにつなげる——その地道な作法を、繰り返し身につけた人ほど、実験から多くを持ち帰る。だから、落ち込む必要はない。質は、あとから鍛えられる。
何を作るかの前に、何の仮説を反証したいか
では、実験の「質」は、どこで決まるのか。答えは、作り始める前——「この試作で、どの仮説を確かめたいのか(うまくいけば何が言えて、失敗すれば何が否定されるのか)」を、先に決めておくことにある。
Felin、Gambardella、Stern、Zenger が2020年に、実験には、その前に「理論(仮説)」が要ると論じた。何を確かめたいのかが曖昧なまま、とりあえず作って出すのは、実験ではなく、ただの思いつきの試し打ちだ。反応が返ってきても、それが何を意味するのかを、読み解けない。逆に、「この機能に価値があるなら、少なくとも◯人は前払いするはずだ。しなければ、その仮説は怪しい」——このように、うまくいく条件と、失敗と見なす条件を、あらかじめ決めておくと、同じ試作が、はっきりした答えを返す実験に変わる。大事なのは「何を作るか」よりも、その前の「何を確かめ、何をもって間違いと認めるか」なのだ。安く作ることは手段であって、目的は、学ぶことである。とくに「何をもって間違いと認めるか」を先に決めておくことには、もう一つの効き目がある。人は、自分のアイデアがかわいい。だから、結果が出たあとに、都合よく解釈しがちだ。反応が薄くても「まだ知られていないだけ」、少し売れれば「手応えあり」——こうして、どんな結果も「成功の兆し」に読み替えてしまう。だが、失敗と見なす条件を先に紙に書いておけば、その言い逃れがしにくくなる。実験は、自分に都合のいい物語から目を覚ますための、冷たい鏡でもあるのだ。
実験には、コストと選び方がある
もう一つ、実務的な視点を置いておく。実験は、タダではない。時間もお金も手間もかかる。だから、「どの仮説を、どの順で、どこまでコストをかけて試すか」を選ぶこと自体が、戦略になる。
Gans、Stern、Wu が2019年に、起業の戦略とは、まさに「どの実験を選び、どこにどれだけ本気で踏み込む(コミットする)か」の選択の問題だと整理した。限られた時間とお金は、すべての仮説を等しく試すことを許さない。だから、いちばん「効く」問い——それが崩れたら事業ごと成り立たない、という急所の仮説——から順に、安く試せる形で確かめていく。Ewens、Nanda、Rhodes-Kropf も2018年に、実験には固有のコスト構造があり、その安さ・高さが、試し方そのものを左右することを示している。安く試せる仮説は気軽に、高くつく仮説は慎重に。そして Andries、Debackere、Van Looy が2013年に、先が読めないときは、一つに絞らず、複数の仮説を同時に試すことが、学びを速める戦略になりうると示した。つまり、MVPは「一個の万能の試作」ではない。何を・いくつ・どの順で・いくらまでかけて試すかという、設計と選択の連なりなのだ。そして、ときには「作らない」という選択もある。売れるかどうかを確かめたいだけなら、実物を作る前に、紹介ページだけを出して反応を見る、といった手もある。作ることが目的化すると、この「もっと安い確かめ方」が見えなくなる。いちばん安い実験は、たいてい、まだ何も作っていないところにある。
時間・変化:2013年から今へ
順に置く。2013年、Andries らが、不確実なときは複数の仮説を同時に試すのが学習戦略になりうると示す。2018年、Ewens らが、実験のコスト構造が試し方を左右すると示し、2019年、Gans らが、起業戦略はどの実験を選びどこにコミットするかだと整理する。2020年、Felin らが、実験の前に仮説が要ると論じ、Leatherbee と Katila が、仮説ベースの探索は実行の質しだいだと示す。2022年、Koning らが、実験を多く回す会社は伸びるが能力に差があると示した。
これらの研究は、別々の角度から、同じ方向を指している。リーンやMVPという言葉が広まる過程で、いつしか「小さく作って出す」という手つきだけが独り歩きした。だが研究の目は、手つきそのものから、その手つきを「どう設計し、どう選び、どう学びに変えるか」へと、焦点を移してきた。道具の名前から、使い方の質へ、である。
この間に確からしくなったのは、「MVPを作れば検証できる」ということではない。確からしくなったのは、安く作ることと学べることは別で、質は事前の仮説で決まり、実験には選び方とコストがある——という、向きのほうである。
妨げるもの、助けるもの、最初の一歩
妨げるものの筆頭は、「安く早く作れた」ことに満足して、「何を学んだか」を問わないことである。動くものが出来ると、進んだ気になる。だが、確かめたい仮説が曖昧なままでは、どれだけ試作を重ねても、学びは積み上がらない。もう一つは、逆に「完璧に作ってからでないと出せない」と、いつまでも試さないことだ。目的は、作品を仕上げることではなく、安く早く学ぶことである。作り込むほど、それを手放すのが惜しくなり、都合の悪い結果を受け入れにくくもなる。まだ粗いうちに試すのは、恥ずかしいようでいて、実は、間違いを安く済ませるための、いちばん賢いやり方なのだ。
助けになるのは、試作に手をつける前に、「この試作で確かめたい仮説を一つと、それを『間違い』と認める条件を一つ、先に書く」ことだ。最初の一歩は10分。いま作ろうとしているものについて、「これは〔こういう仮説〕を確かめるための試作だ」「もし〔こういう反応〕だったら、その仮説は外れだったと認める」——この二つを、作る前に紙に書く。書いてみて、うまく言葉にできないなら、それは、自分でもまだ何を確かめたいのか分かっていない、という合図だ。作り始める前にそれに気づけたことこそ、最初の収穫である。反証の条件を先に決めておくと、都合の悪い結果から目をそらしにくくなる。仮説と反証条件を書くのは、たった数分だ。だが、この数分を惜しんで作り始めると、あとで何日もかけた試作が、結局「よく分からなかった」で終わることになる。急がば回れ、である。相手を欺いたり、無断で実験台にしたりはしない。試すのは、誠実な形で。この「先に仮説と、間違いの条件を書く」ひと手間こそが、安く作っただけで学べた気になってしまう、あの静かな罠から、あなたを確かに守ってくれる。
- 青段(課題の発見)の締め。いよいよ作って試す番で、よく登場するのがMVP(必要最小限の試作。無駄なく検証するためまず小さく作る、という実務書由来の考え方)。だが最初の注意は、安く作れることとそこから学べることは別ということ。難しいのはその試作が仮説のどこが正しくどこが間違いかをはっきり教えてくれる形になっているか。ただ小さいものを出しても反応が鈍いとき、作りが雑・売り方・そもそも需要なしの見分けがつかない。MVPは魔法の検証装置でない
- 小さく作って試す発想は実証に支えられている。Koning, Hasan & Chatterji 2022 は、二つの案を比べて反応を見る実験(A/Bテスト)を多くきちんと回すスタートアップほどよく成長する傾向を示した。だが同じ研究に見落とせない但し書きがあり、実験を回せる能力には大きな差がある。道具を手にしても誰もが自動で学べるわけでない。Leatherbee & Katila 2020 も仮説ベースの探索が早期チームの成果と結びつくが、やり方を知ることと実際にうまく実行することは別だと釘を刺す
- 問われるのは回数や道具でなく一回一回の実験の質。質は作り始める前=この試作でどの仮説を確かめたいか(うまくいけば何が言え失敗すれば何が否定されるか)を先に決めることで決まる。Felin, Gambardella, Stern & Zenger 2020 は実験にはその前に理論(仮説)が要ると論じた。何を確かめたいか曖昧なまま作って出すのは実験でなく思いつきの試し打ちで、反応が返っても意味を読み解けない。うまくいく条件と失敗と見なす条件を先に決めると同じ試作がはっきり答える実験に変わる
- 実験はタダでなく時間もお金も手間もかかる。だからどの仮説をどの順でどこまでコストをかけて試すかを選ぶこと自体が戦略になる。Gans, Stern & Wu 2019 は起業の戦略をどの実験を選びどこにコミットするかの選択の問題と整理し、Ewens, Nanda & Rhodes-Kropf 2018 は実験に固有のコスト構造があり試し方を左右すると、Andries, Debackere & Van Looy 2013 は先が読めないとき複数の仮説を同時に試すことが学びを速める戦略になりうると示した
- MVPは一個の万能の試作でなく、何をいくつどの順でいくらまでかけて試すかという設計と選択の連なりである。この間に確からしくなったのは、MVPを作れば検証できるでなく、安く作ることと学べることは別で質は事前の仮説で決まり実験には選び方とコストがあるという向き。安く作ることは手段であって目的は学ぶこと。効果量の数値は書かない
- 妨げるのは安く早く作れたことに満足して何を学んだかを問わないこと(確かめたい仮説が曖昧では学びは積み上がらない)と、逆に完璧に作ってからでないと出せないといつまでも試さないこと(目的は作品を仕上げることでなく安く早く学ぶこと)。だからこの棚はMVPさえ作れば分かると断定せず、起業を煽らず、顧客を無断の実験台にしない(試す課題を作らない)。MVP本家の実務書やRCTは地の文の由緒言及にとどめる
- だからこの単位でやるのは、試作に手をつける前に、この試作で確かめたい仮説を一つと、それを間違いと認める条件を一つ先に書くこと。いま作ろうとするものについて『これは〔こういう仮説〕を確かめる試作だ』『もし〔こういう反応〕だったらその仮説は外れと認める』を作る前に紙に書く。反証の条件を先に決めると都合の悪い結果から目をそらしにくくなる。相手を欺かず無断で実験台にしない。この先に仮説と間違いの条件を書くひと手間が、安く作っただけで学べた気になる罠から守る
| よくある誤解 | 実際のところ |
|---|---|
| とにかくMVP(最小限の試作)を作って世に出せば、当たるかどうか検証できる | 『安く作れること』と『そこから学べること』は別である。手早く小さく作ること自体は難しくなく、難しいのは、その試作が仮説の『どこが正しくて、どこが間違っているか』をはっきり教えてくれる形になっているかだ。ただ小さいものを出しても、反応が鈍かったとき、作りが雑だったのか・売り方が悪かったのか・そもそも誰も欲しくないのかの見分けがつかない。Koning ら 2022 は実験を多く回す会社は伸びるが回せる能力に差があることを、Leatherbee & Katila 2020 は仮説ベースの探索が実行の質に依存することを示した。MVPは魔法の検証装置ではない |
| 何を確かめるかは後で考えればよい。まず動くものを作って反応を見るのが先だ | 実験の質は、作り始める前に『この試作でどの仮説を確かめたいのか(うまくいけば何が言えて、失敗すれば何が否定されるのか)』を先に決めることで決まる。Felin, Gambardella, Stern & Zenger 2020 は、実験にはその前に理論(仮説)が要ると論じた。何を確かめたいのかが曖昧なまま作って出すのは、実験ではなく思いつきの試し打ちで、反応が返ってきても意味を読み解けない。逆に、うまくいく条件と失敗と見なす条件をあらかじめ決めておくと、同じ試作が、はっきりした答えを返す実験に変わる。安く作ることは手段であって、目的は学ぶことである |
| MVPは小さければ小さいほどよいのだから、いちばん安い試作を一つ作れば十分だ | MVPは一個の万能の試作ではなく、何を・いくつ・どの順で・いくらまでコストをかけて試すか、という設計と選択の連なりである。実験はタダでなく時間もお金も手間もかかるため、どの仮説をどう試すかを選ぶこと自体が戦略になる。Gans, Stern & Wu 2019 は起業戦略をどの実験を選びどこにコミットするかの選択と整理し、Ewens, Nanda & Rhodes-Kropf 2018 は実験に固有のコスト構造があること、Andries, Debackere & Van Looy 2013 は先が読めないとき複数の仮説を同時に試すのが学びを速める戦略になりうることを示した。この棚はMVPさえ作れば分かると断定せず、顧客を無断の実験台にしない |
皮肉なのは、いちばん手応えのある作業——手を動かして何かを作ること——が、いちばん『学んだ気』にさせやすいことだ。動くものが出来上がると、進んだ気がする。だが、確かめたい仮説が曖昧なままでは、試作をいくつ重ねても、学びは積み上がらない。確からしいのは、安く作ることと学べることは別で、質は事前の仮説で決まり、実験には選び方とコストがある——その向きのほうだ。だから、作りたい衝動に手をつける前に、たった二行でいい。『これは何の仮説を確かめる試作か』『どうなったら、その仮説は外れだと認めるか』。この二行を先に書くだけで、あなたの試作は、答えを返す実験へと変わる。数分の手間が、何日ぶんもの試作を、無駄から学びへと変えてくれる。青段——課題の発見——は、ここまで。用事を掴み、深さを確かめ、市場を見立て、試し方を設計した。すべての土台にあるのは、★513で書いた『誰の、どんな用事か』の一枚だ。次の単位 517「作る前に売ってみるには?」から、棚は第二の段——仮説と検証の設計——へと進む。作る前に売る、という一歩の、実際のところを見にいく。
Q1. MVP(必要最小限の試作)では、____ 作れることと、そこから ____ ことは別である。実験の質は、作り始める前に『この試作でどの仮説を確かめ、どうなったら ____ と認めるか』を先に決めることで決まる。穴埋め
Q2. Koning, Hasan & Chatterji 2022 が、A/Bテスト(実験)とスタートアップの成長について示したことはどれか。選択
Q3. 『安く作れても学べていない』とは、どういう状態か。Felin et al 2020 に触れて、実験の質がどこで決まるかを述べよ。一問一答
Q4. 『MVPは一個の万能の試作ではない』とはどういうことか。実験のコストと選び方に触れて述べよ。一問一答
Q5. この単位が示した研究を、年の早い順に並べよ。(ア)Gans らが起業戦略はどの実験を選ぶかだと整理する(イ)Andries らが複数の仮説を同時に試す学習戦略を示す(ウ)Koning らが実験を回す会社は伸びるが能力差があると示す(エ)Ewens らが実験のコスト構造が試し方を左右すると示す並べ替え
紙かメモアプリに今日の日付を書く。次に、自分がいま作ろうとしている(あるいは想像する)試作・MVPを一つ思い浮かべ、それに手をつける前に、二つのことを書き出す。(1) この試作で確かめたい仮説を一つ——『これは〔こういう仮説〕を確かめるための試作だ』の形で。(2) それを『間違い』と認める条件を一つ——『もし〔こういう反応・結果〕だったら、その仮説は外れだったと認める』の形で。そのうえで、その反応や結果を、誰の・どんな行動(前払い・申し込み・継続利用など、言葉でなくコミットメント)で測るかを一行書く。最後に、この実験にかかりそうな手間やお金がどれくらいで、もっと安く同じ仮説を確かめる別のやり方はないかを、一つ考えて書く。実在の相手を欺いたり、無断で実験台にしたりはしない。自分の検証メモとして完結させる。
——とはいえ、その“正しい用法・用量”は、まだ誰も知らない。ここまでの研究に、あなたのデータは1件も入っていないからだ。平均は地図にすぎない。自分の“いい具合”は、試して探すしかない。
あなたの実験(N=1)を始める → プロジェクトに追加(記録機能は準備中)
- Koning R., Hasan S., Chatterji A. (2022) ‘Experimentation and Start-Up Performance: Evidence from A/B Testing’, Management Science 68(9):6434-6453 — doi.org
- Leatherbee M., Katila R. (2020) ‘The lean startup method: Early-stage teams and hypothesis-based probing of business ideas’, Strategic Entrepreneurship Journal 14(4):570-593 — doi.org
- Felin T., Gambardella A., Stern S., Zenger T. (2020) ‘Lean startup and the business model: Experimentation revisited’, Long Range Planning 53(4):101889 — doi.org
- Gans J.S., Stern S., Wu J. (2019) ‘Foundations of entrepreneurial strategy’, Strategic Management Journal 40(5):736-756 — doi.org
- Ewens M., Nanda R., Rhodes-Kropf M. (2018) ‘Cost of experimentation and the evolution of venture capital’, Journal of Financial Economics 128(3):422-442 — doi.org
- Andries P., Debackere K., Van Looy B. (2013) ‘Simultaneous Experimentation as a Learning Strategy: Business Model Development Under Uncertainty’, Strategic Entrepreneurship Journal 7(4):288-310 — doi.org