1億4600万ドルは、売れた金額ではなく、売れると見込んだ金額である
使う人と一緒に作れば良いものが生まれる、という話には、たいてい一つの金額が付いてくる。その金額は実在する。ただしそれは売れた金額ではなく、5年後にこれくらい売れるだろうという見積もりであり、比較の相手も同じく見積もりである。
前の単位で、手慣れていることを強みと呼ぶ言い方に、どれだけの検定が通っているかを見た。ここでは、その手の外側にいる人——使う側——を開発に入れるという言い方を扱う。
この単位が扱うのは一点——「使う人と一緒に作れば良いものが生まれる」という言い方の、数字の出どころである。 誰をどう巻き込むかの段取りは扱わない。特定の企業や製品の例も出さない。
概念の原典は、効果を測っていない
出どころははっきりしている。1986年に *Management Science* 32(7):791-805 へ出た論文である。要旨は、正確な市場調査は使う側の判断の正確さに依存するが、きわめて新しい製品や変化の速い分野では、大半の見込み客はそもそも判断に必要な実地の経験を持っていない、と述べる。そのうえで、いま強い必要を持っていて、その必要が数か月から数年後に市場一般のものになる使い手に注目する、という解き方を提案している。彼らは自分の必要を自分で満たそうとすることが多いので、必要を先取りする実験室の役目を果たしうる、とも書かれている。
読み落としてはいけないのは、この要旨の動詞である。提案する。探る。どうすれば体系的に見つけられるかを検討する。 ——効果を測ったとは、一言も書かれていない。 これは方法の提案であって、効果の測定ではない。
いちばん引かれる効果測定は、提唱者本人が共著である
では効果はどこで測られたのか。最もよく引かれるのは、2002年に *Management Science* 48(8):1042-1059 へ出た論文である。ある大きな製造業の1社の内部で起きた自然実験——研究者が割り付けたのではなく、たまたま二通りのやり方が並行して走った状況——を扱っている。
この論文の著者には、1986年に概念を提案した本人が入っている。 これは不正でもなんでもなく、この分野ではふつうのことである。ただし、提唱者自身が効果の測定に加わっているという事実は、読むときに知っておいたほうがよい。
比べたのは、5件と42件である
標本を見る。本文にこう書かれている。その期間に、リードユーザー案件から生まれた案が5件、予算を得ていた。あわせて、リードユーザー以外の発想法から生まれた案が42件、予算を得ていた。
5件と42件である。 片方の群が5件しかない。平均を出せば数字は出るが、5件の平均は、1件が入れ替わるだけで大きく動く。 そして比べられている二つの群は、規模が8倍以上違う。
これは論文の欠陥という話ではない。社内で自然に起きた出来事を後から拾っている以上、群の大きさは選べない。 問題は、この5対42という内訳が、外へ出るときにほぼ必ず落ちることのほうである。
1億4600万ドルは、売れた金額ではない
いちばん流通している数字も、この論文から出ている。要旨の一文はこうである。リードユーザー案件の平均から生まれた案の年間売上は、5年後に控えめに見積もって1億4600万ドルと予測されており、これは同時期に行われた従来型の案件の平均について予測された売上の8倍以上である。
予測である。 原文は “conservatively projected” と書き、比較の相手も “forecast sales” と書いている。本文の該当箇所も、予測値を割り引いたうえで5年目の売上の平均を求めた、という書き方をしている。
つまり、8倍以上という比較は、実績と実績の比較ではない。予測と予測の比較である。 売れた金額の話をしているのではない。
著者自身が、報告の正確さに疑いを書いている
さらに、この論文には著者自身による但し書きがある。長期の追跡にあたる標本のデータは、横断的な標本ほど完全でも正確でもないだろう、とまず書いたうえで、こう続く。情報提供者は自分が記述している案件に実際に参加していたが、報告の正確さには疑わしいところがある(過去の発想の成功の度合いについて、上振れした思い出し方を含んでいるかもしれない)。
これは批判者の言葉ではない。論文を書いた側の言葉である。 この一文は、外へ出てくる引用にはまず付いてこない。
素人の使い手を入れると、新規性は上がり、実現性は下がる
では、使う側を入れることには意味がないのか。そうではない。別の設計で測った研究がある。
2012年に *Journal of Product Innovation Management* 29(2):245-256 へ出た研究は、ある企業の専門家が実際に出した案と、発想の競技会で使う側が出した案を、現実の場面で比べている。評価したのは同じ企業の役員で、どちらの出所の案かを伏せて採点した。結果はこうである。この過程が生んだ使う側の案は、新規性と顧客にとっての便益の点で有意に高い点を取り、実現の可能性の点ではいくらか低い点を取った。
同時に上がるわけではない。 新しさが上がるほうへ動くと、すぐ使えるかどうかは下がるほうへ動く。この非対称は、この棚が別の場所でも通る道である。
使い手の知識で、出てくる案の性質が変わる
2009年に *Journal of Product Innovation Management* 26(5):578-593 へ出た研究は、携帯電話のサービスの発想段階を対象にした準実験計画で、使う側の技術的な知識を独立変数、出てきた案の質を従属変数として調べた。手引きを受けた使い手の案は漸進的なものになりやすく、先駆けている使い手の案はより急進的になる。
そして結びに、実務に直接刺さる一文がある。ふつうの使い手が、新製品開発の工程にそのまま投入できる案を出してくれると期待すべきではない。むしろ、ふつうの使い手を入れることは、企業が使う側の必要について学び、発想の刺激を受ける過程として捉えるべきである。
なお、提唱者本人が自説をあらためて検定した例もある。2006年の *Journal of Product Innovation Management* 23(4):301-315 は、ある野外競技の用具を自作改造する使い手を対象に、回収された456票のうち88人(19.5%)を自作改造をした人として特定し、その人たちの案の商業的な魅力と、リードユーザーとしての特徴の強さの関係を調べている。ここでも著者に提唱者本人が入っており、対象は企業の開発ではなく、趣味の用具である。
集めたあとに、選ぶ側の問題が残る
もう一つ。2016年に *Research Policy* 45(6):1145-1154 へ出た研究は、公募で案を集める形を扱っている。要旨は、公募は何千という案を生み、企業が実行したい案を見つけ出すことが厄介になりうる、と指摘する。分析の結果は、他人の案によく目を通している投稿者の案、人気のある案、革新性が見込まれる案は、実行されやすいというものだった。そして——直感に反して、投稿数に表れる投稿者の意欲は、案が実行される見込みに影響しない。
集めることと、選ぶことは、別の仕事である。
時間・変化:1986年から2016年まで
順に並べる。1986年、概念が提案される。効果の測定は無い。2002年、提唱者本人を含む著者らが、社内の自然実験で5件対42件を比べ、5年後の売上の予測値として1億4600万ドルを出す。2006年、提唱者本人を含む著者らが、趣味の用具の分野で456票・88人を対象に自説を検定する。2009年、ふつうの使い手の案はそのまま投入できるものではないと結論される。2012年、出所を伏せた採点で、使う側の案は新規性で高く実現性で低いと示される。2016年、集めたあとの選別の問題が扱われる。
30年で動いたのは、効果があるかないかではなく、何を期待してよいかの範囲のほうである。
妨げるもの、助けるもの、最初の一歩
妨げるものの筆頭は、予測値を実績として引くことである。1億4600万ドルという数字は実在するが、それは5年後にこれくらい売れるだろうという見積もりであり、比較の相手も同じく見積もりである。分子と分母が両方とも予測のとき、その比を実績の比のように読んではいけない。
標本の偏りを断っておく。ここまでの証拠は、米国と欧州の、大きな製造業と消費財の企業、それに趣味の用具の分野から採られたものが大半で、規模は5件対42件、456票、そして1社ずつの比較である。日本の研究開発を対象にした査読研究はごく少ない。 そして——成功した組織のデータだけが残る、という逆向きを排除できない。 予算がつかなかった案、途中で消えた案、答える余裕のないまま調査から抜けた組織は、たいてい最初から標本に入っていない。
助けになるのは、使う側を「意見をくれる人」ではなく「先に困っている人」として見るという一手である。1986年の提案が言っているのは、代表的な使い手の平均を訊けということではない。いま強い必要を持っている少数を見つけよ、ということである。 そしてその人たちの案は、そのまま工程に投入できるものではない、と2009年の研究が書いている。
最初の一歩は5分。自分が作っているもの、あるいは関わっているものについて、いちばん極端な使い方をしている使い方の型を1行で書き、その使い方で困りそうなことを1つ挙げる。特定の個人の名前は書かない。誰かに確かめに行かない。
次の単位は 300「研究と事業を両立するには?」——遠い研究と近い事業に、どう時間と資源を配るのかという話へ進む。
- 概念の原典(1986年、Management Science 32(7):791-805)の要旨は、いま強い必要を持ち、その必要が数か月から数年後に市場一般のものになる使い手に注目するという解き方を提案している。動詞は提案する・探る・体系的に見つけられるかを検討するであり、効果の測定は一言も書かれていない
- 最もよく引かれる効果測定(2002年、Management Science 48(8):1042-1059)は、ある大きな製造業1社の社内の自然実験である。本文には、その期間にリードユーザー案件から生まれた案が5件、それ以外の発想法から生まれた案が42件、予算を得ていたとある。比べられた二つの群は8倍以上の大きさの差がある
- 同じ論文の1億4600万ドルは、5年後の年間売上の予測値であって実績ではない。原文は控えめに見積もって予測される(conservatively projected)と書き、8倍以上という比較の相手も予測された売上(forecast sales)である。分子も分母も予測のとき、その比を実績の比として読んではいけない
- 同じ論文には著者自身の但し書きがある——情報提供者は自分が記述している案件に実際に参加していたが、報告の正確さには疑わしいところがある(過去の発想の成功の度合いについて上振れした思い出し方を含んでいるかもしれない)。批判者ではなく、書いた側の言葉である
- 2012年の研究(Journal of Product Innovation Management 29(2):245-256)では、同じ企業の役員が案の出所を伏せて採点した結果、使う側の案は新規性と顧客にとっての便益で有意に高く、実現の可能性ではいくらか低い点を取った。新しさとすぐ使えるかは、同時には上がらない
- 2009年の研究(同誌 26(5):578-593、携帯電話のサービスの発想段階の準実験計画)は、手引きを受けた使い手の案は漸進的に、先駆けている使い手の案はより急進的になると報告し、ふつうの使い手が工程にそのまま投入できる案を出すと期待すべきではない、と結んでいる
- 2006年の検定(同誌 23(4):301-315)は、ある野外競技の用具を自作改造する使い手を対象に、回収456票のうち88人(19.5%)を特定して自説を検定したもので、ここでも著者に提唱者本人が入っている。2016年の研究(Research Policy 45(6):1145-1154)は、集めたあとに実行される案を左右するのは投稿者の意欲ではなかったと報告した
| よくある誤解 | 実際のところ |
|---|---|
| リードユーザー法を使えば、売上が8倍以上になる | 1億4600万ドルという値は、5年後の年間売上の予測値である。原文は控えめに見積もって予測されると書き、比較の相手も予測された売上である。つまり8倍以上とは、予測どうしの比であって、実績どうしの比ではない。加えて、比べられたのはリードユーザー案件5件と、それ以外の発想法による42件である |
| 概念の提案者が、効果まで確かめている | 1986年の原典の要旨に効果の測定は書かれていない。書かれているのは、そういう使い手に注目するという方法の提案と、どうすれば体系的に見つけられるかの検討である。効果を測った2002年の論文と、2006年の検定には、いずれも提案者本人が著者として入っている。不正ではないが、読むときに知っておく事実である |
| 使う側を入れれば、そのまま使える良い案が集まる | 2012年の比較では、使う側の案は新規性と顧客にとっての便益で有意に高い点を取った一方、実現の可能性ではいくらか低い点を取った。2009年の研究は、ふつうの使い手が工程にそのまま投入できる案を出すと期待すべきではなく、必要について学び発想の刺激を受ける過程として捉えるべきだと結んでいる。2016年の研究は、集めたあとの選別が別の仕事として残ることを示した |
皮肉なのは、この話がいちばん正確に書かれている場所である。論文の本文だった。予算がついた案は5件だと書いてあり、金額は予測だと三度も断ってあり、思い出し方が上振れしているかもしれないとまで書いてある。外へ出るときに残ったのは、金額と倍率だけだった。使う側の声を大事にせよ、と説く枠組みが、いちばん聞き落としたのは、それを書いた本人たちの但し書きである。
Q1. 2002年の論文の本文によれば、その期間に予算を得ていたのは、リードユーザー案件から生まれた案が【 ① 】件、それ以外の発想法から生まれた案が【 ② 】件だった。二つの群の大きさは【 ③ 】倍以上違う。穴埋め
Q2. よく引かれる1億4600万ドルは、5年後の年間売上の【 ① 】値である。原文は控えめに見積もって【 ① 】される、と書き、比較の相手である従来型の案件の売上も同じく【 ① 】された値である。したがって「8倍以上」は【 ② 】どうしの比であって、【 ③ 】どうしの比ではない。穴埋め
Q3. 1986年に概念を提案した論文の要旨について、正しいものはどれか。選択
Q4. 2012年に、案の出所を伏せて同じ企業の役員が採点した比較の結果として、正しいものはどれか。選択
Q5. この単位で扱った五つの研究を、発表された年の早い順に並べよ。(ア)出所を伏せた採点で、使う側の案が新規性と顧客便益で高い点を取った(イ)概念が提案された。効果の測定は無い(ウ)公募で集めたあと、投稿者の意欲は実行の見込みに影響しないと報告された(エ)社内の自然実験で5件と42件が比べられ、5年後の売上の予測値が出された(オ)ふつうの使い手の案は工程にそのまま投入できるものではないと結論された並べ替え
紙かメモアプリに、今日の日付を書く。次に、自分が作っているもの、あるいは関わっているものを1つ選び、その名前を1行で書く。その下に、「いちばん極端な使い方」を1行で書く。極端とは、量が多い、頻度が高い、環境が厳しい、想定していない順番で使う、といった意味である。最後に、その使い方をしたときに困りそうなことを1つだけ書く。特定の個人の名前は書かない。誰かに確かめに行かない。相手の反応を試さない。書くのは使い方の型であって、人の評価ではない。いま組織に属していない場合や、一人で作っている場合は、自分が使っている道具や仕組みのうち1つを選び、自分自身のいちばん極端な使い方について同じ形で書けば成立する。
——とはいえ、その“正しい用法・用量”は、まだ誰も知らない。ここまでの研究に、あなたのデータは1件も入っていないからだ。平均は地図にすぎない。自分の“いい具合”は、試して探すしかない。
あなたの実験(N=1)を始める → プロジェクトに追加(記録機能は準備中)
- von Hippel E. (1986) 'Lead Users: A Source of Novel Product Concepts', Management Science 32(7):791-805, doi:10.1287/mnsc.32.7.791 — ideas.repec.org
- Lilien G.L., Morrison P.D., Searls K., Sonnack M., von Hippel E. (2002) 'Performance Assessment of the Lead User Idea-Generation Process for New Product Development', Management Science 48(8):1042-1059, doi:10.1287/mnsc.48.8.1042.171 — web.mit.edu
- Poetz M.K., Schreier M. (2012) 'The Value of Crowdsourcing: Can Users Really Compete with Professionals in Generating New Product Ideas?', Journal of Product Innovation Management 29(2):245-256, doi:10.1111/j.1540-5885.2011.00893.x — research.cbs.dk
- Magnusson P.R. (2009) 'Exploring the Contributions of Involving Ordinary Users in Ideation of Technology-Based Services', Journal of Product Innovation Management 26(5):578-593, doi:10.1111/j.1540-5885.2009.00684.x — api.crossref.org
- Franke N., von Hippel E., Schreier M. (2006) 'Finding Commercially Attractive User Innovations: A Test of Lead-User Theory', Journal of Product Innovation Management 23(4):301-315, doi:10.1111/j.1540-5885.2006.00203.x — evhippel.mit.edu
- Schemmann B., Herrmann A.M., Chappin M.M.H., Heimeriks G.J. (2016) 'Crowdsourcing ideas: Involving ordinary users in the ideation phase of new product development', Research Policy 45(6):1145-1154, doi:10.1016/j.respol.2016.02.003 — ideas.repec.org