「予測は精度を上げられる」——だが、人が手を入れると、かえって当たらなくなる
売上予測は精度を上げられる、上げるべきだ、と教わる。だが、人が入れる見込みは、楽観とサンドバッギングという逆向きの力に引かれている。しかも供給連鎖の実データでは、計算した予測に人が手を加える調整が、かえって精度を損なった。予測は立場ごとの都合を帯び、20年追っても一直線には良くならない。専門家の予測は、本人の自信ほどには当たらない。
前の単位では、案件ごとの確度が、置いた本人の自己申告だと扱った。ここでは、その確度を足し上げた数字——フォーキャスト、来月や今四半期にいくら売れるかの予測を扱う。
橙の段が繰り返す数字の自己申告性は、予測でひとつ頂点に達する。申告の合計に、人がさらに手を入れて『これくらいだろう』と決めるのが予測だからだ。この単位が言うことも三つに絞る——予測とは何を指すのか。精度は上げられると確かめられているのか。上げようと手を入れると、何が起きるのか。
この単位の持ち場——予測とは、申告の合計に手を入れること
フォーキャスト(売上予測)とは、見込みの案件を足し合わせ、経験や勘で補正して、ある期間に売れる金額を前もって言い当てる作業である。前の単位で見たとおり、足す材料の一つ一つが自己申告だった。予測は、その申告の山に、さらに人の判断を重ねる。
だからここで問うのは、統計の手法の優劣ではない。人が数字に手を入れるという、その行為そのものに何が起きるかである。どの計算式がいちばん当たるかという技術論は別の棚の持ち場で、ここでは触れない。読者は営業職に限らない。受託の売上を見込む人も、教室の申込を読む人も含む、来月の売れ高を自分に言い聞かせる立場すべてである。
判断的予測には、二つの歪みが同居する
人が入れる見込み——判断的予測——は、二つの逆向きの力に引かれている。一つは楽観。うまくいくと見たい、上に良く見せたいという力が、数字を高く盛る。もう一つはサンドバッギング。低めに出しておけば達成しやすい、超えれば褒められるという力が、数字を低く沈める。この二つが、同じ人の中で綱引きする。
だから予測は、上振れも下振れもする。しかも厄介なのは、どちらに寄っているかが、出した本人にも分かりにくいことだ。2006年に *International Journal of Forecasting* 誌 22(3):493-518 へ出た Lawrence・Goodwin・O'Connor・Önkal の総説は、判断的予測の25年を振り返り、こうしたバイアスが繰り返し観察されてきたことを整理した。癖は個人の弱さではなく、立場が生む構造である。
手で調整すると、むしろ精度が下がる
ここが、この単位のいちばん効くところである。予測を当てにいこうと、人が数字に手を加えると、かえって精度が下がることがある。 2009年に *International Journal of Forecasting* 誌 25(1):3-23 へ出た Fildes・Goodwin・Lawrence・Nikolopoulos は、供給連鎖の実データで、人による調整(計算した予測を手で上下させること)を検討し、その調整がしばしば精度を損なうことを示した。とくに小さな手直しや、下方向の調整で、当たりが悪くなりやすかった。
直感に反する。手を入れれば、現場を知る自分のほうが機械より当てられる気がする。だが実データでは、手を入れた分だけ外れが増える場面が繰り返し観察された。予測を良くしようとする努力そのものが、予測を悪くしうる。
予測は政治を帯び、長く観測しても一直線に良くならない
予測は、一人の頭の中だけの話ではない。組織を通ると、立場ごとの都合が数字に入り込む。2009年に *Production and Operations Management* 誌 18(2):138-151 へ出た Oliva と Watson は、合意形成でつくる予測に、部門ごとの機能的なバイアスが入り込むことを、事例研究で観察した。営業は低めに、経営は高めに——立場が数字を曲げる。
では、時間をかければ精度は上がるのか。2006年に *Journal of Forecasting* 誌 25(5):303-324 へ出た McCarthy らは、20年にわたる営業予測の実務を追い、その歩みが精度向上に一直線ではないことを示した。しかも、2003年に *Omega* 誌 31(6):511-522 へ出た Sanders と Manrodt は、判断的な手法が精度で劣ると分かっている場面でも、実務家が判断的手法に頼り続けることを示した。当たらないと知りつつ、手を入れることをやめられない。
専門家の予測は、自信ほどには当たらない
これは営業だけの癖ではない。2005年に刊行された Tetlock の *Expert Political Judgment*(Princeton University Press)は、政治や経済の専門家の予測を長期に集めて検証し、専門家の予測は、本人の自信の割には当たらないことを一貫して示した。これは政治予測の領域の研究であって、営業の直接の証拠ではない。だが、専門家が自分の見立てを過信しがちだという傾向は、領域を越えて現れる傍証として置いておく価値がある。来月いくら売れるかを自分に言い聞かせる、その確信もまた、同じ過信の一種かもしれない。
時間・変化:2003年から2009年まで
順に置く。2003年、Sanders と Manrodt が、精度で劣ると分かっても判断的手法に頼り続けると示す。2005年、Tetlock が、専門家の予測は自信ほど当たらないと検証する(政治ドメイン)。2006年、Lawrence らが判断的予測の25年のバイアスを総説にまとめ、McCarthy らが、20年追っても精度向上は一直線でないと示す。2009年、Fildes らが、手による調整はしばしば精度を損なうと実証し、Oliva と Watson が、合意予測に部門の機能的バイアスが入ると観察する。
この数年で確からしくなったのは、「予測は精度を上げられる/上げるべきだ」ではない。 確からしくなったのは、判断は楽観とサンドバッギングに引かれ、手を入れると精度はしばしば下がり、時間をかけても一直線には良くならないという向きのほうである。
妨げるもの、助けるもの、最初の一歩
妨げるものの筆頭は、外れた予測を、手の入れ方が足りなかったせいだと考えることである。もっと丁寧に調整すれば当たったはず——だが実データは逆で、手を入れるほど外れが増える場面が多かった。
標本の偏りも断っておく。ここで引いた実証の多くは、供給連鎖や需要計画、政治予測の場面で採られた。一人で見積もりを出す商い、受注の波が季節でまるごと動く商いが、同じ振る舞いをするとは限らない。 どの計算式が当たるかという統計手法の優劣にも、この単位は立ち入らない。
助けになるのは、自分が過去に立てた予測と、実際の結果を、後から突き合わせるという一手である。当たったか外れたかだけでなく、上に外したか下に外したかを見る。上に偏っていれば楽観、下に偏っていればサンドバッギングの癖が、手元の記録から見える。
最初の一歩は10分。過去に自分が『今月(今四半期)はこれくらい売れる』と見込んだ数字を一つ思い出し、実際の結果と並べて、差を『上に外した/下に外した/ほぼ当たった』の一語で書く。 誰かに聞く必要はない。自分の予測と結果の記録だけで完結する。差の向きに癖が見えなければ、それも収穫だ。
次の単位は 380「営業活動を仕組みにするには?」——予測や管理をひとまとめにした『型』を作れば誰でも売れるのか、標準化の効き目の条件を扱う。
- この単位は、案件の確度を足し上げた売上予測(フォーキャスト)の精度と、精度を上げようと手を入れる行為の効き目を扱う。読者は営業職に限らず、受託の売上を見込む人・教室の申込を読む人など、来月の売れ高を自分に言い聞かせる立場すべて。どの計算式が当たるかという統計手法の優劣(別の棚の持ち場)ではなく、人が数字に手を入れる行為そのものに絞る
- 人が入れる見込み(判断的予測)は、二つの逆向きの力に引かれている。楽観は数字を高く盛り、サンドバッギング(低めに出して達成しやすくする)は数字を低く沈める。この二つが同じ人の中で綱引きし、どちらに寄っているか本人にも分かりにくい。2006年に International Journal of Forecasting 22(3):493-518 へ出た Lawrence らの総説が、25年分のバイアスを整理した
- この単位の本命——予測を当てにいこうと人が数字に手を加えると、かえって精度が下がることがある。2009年に International Journal of Forecasting 25(1):3-23 へ出た Fildes らは、供給連鎖の実データで、人による調整(計算した予測を手で上下させること)がしばしば精度を損なうと示した。とくに小さな手直しや下方向の調整で当たりが悪くなりやすい
- 予測は一人の頭の中の話ではない。2009年に Production and Operations Management 18(2):138-151 へ出た Oliva と Watson は、合意形成でつくる予測に、部門ごとの機能的バイアス(営業は低め、経営は高め)が入り込むことを事例研究で観察した。立場が数字を曲げる
- 時間をかければ精度が上がるとは限らない。2006年に Journal of Forecasting 25(5):303-324 へ出た McCarthy らは、20年の営業予測の実務を追い、その歩みが精度向上に一直線でないと示した。さらに 2003年に Omega 31(6):511-522 へ出た Sanders と Manrodt は、精度で劣ると分かっても実務家が判断的手法に頼り続けると示した
- これは営業だけの癖ではない。2005年刊行の Tetlock『Expert Political Judgment』は、政治や経済の専門家の予測を長期に検証し、専門家の予測が本人の自信の割には当たらないことを一貫して示した。これは政治予測の領域の研究で営業の直接証拠ではないが、専門家が見立てを過信しがちだという傾向は領域を越えて現れる傍証である
- 助けになるのは、自分が過去に立てた予測と実際の結果を後から突き合わせ、当たり外れだけでなく上に外したか下に外したかを見ること。上に偏れば楽観、下に偏ればサンドバッギングの癖が手元の記録から見える。予測を捨てよではなく、手を入れた予測を機械の数字より確かだと思い込まない、という向きに使う
| よくある誤解 | 実際のところ |
|---|---|
| 売上予測は、丁寧に手を入れて調整するほど精度が上がる。当てにいく努力が、当たる予測をつくる | 2009年に Fildes・Goodwin・Lawrence・Nikolopoulos は、供給連鎖の実データで、計算した予測に人が手で加える調整がしばしば精度を損なうことを示した。とくに小さな手直しや下方向の調整で当たりが悪くなりやすい。手を入れれば現場を知る自分のほうが当てられる気がするが、実データでは手を入れた分だけ外れが増える場面が繰り返し観察された。予測を良くしようとする努力そのものが、予測を悪くしうる |
| 予測がぶれるのは経験不足のせいで、経験を積み、時間をかければ精度は着実に上がっていく | 判断的予測は、楽観(高く盛る)とサンドバッギング(低く沈める)という逆向きの力に引かれ、どちらに寄っているか本人にも分かりにくい(2006年 Lawrence ら)。2006年 McCarthy らは、20年の営業予測の実務を追い、その歩みが精度向上に一直線でないと示した。2003年 Sanders と Manrodt は、精度で劣ると分かっても判断的手法に頼り続けると示す。経験や時間は、この構造的な歪みを自動では消さない |
| 予測は自分の頭の中の見立てであり、立場や部門の都合とは切り離された、中立な数字である | 2009年 Oliva と Watson は、合意形成でつくる予測に、部門ごとの機能的バイアス(営業は低め、経営は高め)が入り込むことを事例研究で観察した。立場が数字を曲げる。さらに 2005年 Tetlock は、政治や経済の専門家の予測が本人の自信の割には当たらないことを検証した。これは政治予測の領域の傍証だが、専門家の過信は領域を越えて現れる。中立な数字という前提が、まず外れている |
皮肉なのは、来月の数字を当てたい人ほど、丁寧に手を入れて予測を磨こうとすることである。だが実データでは、その手入れがしばしば精度を損ない、立場は数字を曲げ、20年かけても一直線には良くならなかった。当たらないと知りながら、私たちは調整をやめられない。予測を捨てよ、という話ではない。手を入れた予測を、機械が出した数字より確かだと思い込まない——残るのは、その一点だけである。次の単位は、こうした管理や予測をひとまとめにした『型』を扱う。
Q1. この単位の本命——予測を当てにいこうと人が数字に手を加えると何が起きるか。Fildes ら 2009 が供給連鎖の実データで示したこととして正しいものはどれか。選択
Q2. 判断的予測は二つの逆向きの力に引かれている。数字を高く盛る ____ と、低めに出して達成しやすくする ____ である。穴埋め
Q3. 「予測は、経験を積み時間をかければ着実に精度が上がる」とは限らない。McCarthy ら 2006 と Sanders・Manrodt 2003 の知見に触れて説明せよ。一問一答
Q4. Tetlock 2005 の知見を、この単位ではどの位置づけで使っているか。営業の直接証拠との違いに触れて述べよ。一問一答
Q5. この単位が扱った出来事を、年の早い順に並べよ。(ア)Lawrence らが判断的予測の25年のバイアスを総説にまとめる(イ)Sanders と Manrodt が、当たらなくても判断的手法に頼り続けると示す(ウ)Fildes らが、手による調整はしばしば精度を損なうと実証する(エ)Tetlock が、専門家の予測は自信ほど当たらないと検証する並べ替え
紙かメモアプリに今日の日付を書く。次に、自分が過去に立てた売上や売れ高の見込み——『今月はこれくらい売れる』『この四半期はこの案件が決まる』など、手元で思い出せるもの——を一つ選ぶ。三段に分け、一段目にそのとき見込んだ数字(おおよそでよい)、二段目に実際の結果、三段目に二つの差を『上に外した/下に外した/ほぼ当たった』の一語で書く。上に外していれば楽観、下に外していればサンドバッギングの癖かもしれない、と自分用のメモを添えてもよい。誰かに確かめに行く必要はない。自分の過去の予測と結果の記録だけで完結させる。一人で全部を回している場合も、そのまま同じ形で書けばよい。
——とはいえ、その“正しい用法・用量”は、まだ誰も知らない。ここまでの研究に、あなたのデータは1件も入っていないからだ。平均は地図にすぎない。自分の“いい具合”は、試して探すしかない。
あなたの実験(N=1)を始める → プロジェクトに追加(記録機能は準備中)
- Lawrence M., Goodwin P., O'Connor M., Onkal D. (2006) 'Judgmental forecasting: A review of progress over the last 25 years', International Journal of Forecasting 22(3):493-518 — doi.org
- Fildes R., Goodwin P., Lawrence M., Nikolopoulos K. (2009) 'Effective forecasting and judgmental adjustments: an empirical evaluation and strategies for improvement in supply-chain planning', International Journal of Forecasting 25(1):3-23 — doi.org
- Oliva R., Watson N. (2009) 'Managing Functional Biases in Organizational Forecasts: A Case Study of Consensus Forecasting in Supply Chain Planning', Production and Operations Management 18(2):138-151 — doi.org
- McCarthy T.M., Davis D.F., Golicic S.L., Mentzer J.T. (2006) 'The evolution of sales forecasting management: a 20-year longitudinal study of forecasting practices', Journal of Forecasting 25(5):303-324 — doi.org
- Sanders N.R., Manrodt K.B. (2003) 'The efficacy of using judgmental versus quantitative forecasting methods in practice', Omega 31(6):511-522 — doi.org
- Tetlock P.E. (2005) Expert Political Judgment: How Good Is It? How Can We Know?, Princeton: Princeton University Press (ISBN 0-691-12302-0) — press.princeton.edu