同じ広告費について、+4,100%と−63%が、同じ表の同じ行に並んでいる

知ってもらえば売れる、だから広告を出す、効果は測れる——この三段のうち、いちばん脆いのは三つ目である。皮肉なことに、ある大規模な取引所の同じ広告費について、通常の回帰は投資収益率を4,100%超と出し、統制を入れると1,400%超と出し、実験で内生性を処理すると−63%と出た。別々の研究の数字ではない。同じ表の同じ行である。

前の単位では、外に出した言葉がどう受け取られているのかを扱った。ここでは、そもそも知ってもらうという話を扱う。ここから段はひとつ進んで、決めた言葉を外に出し、来てもらって、選ばれるまでの話になる。

知ってもらえば売れる。だから広告を出す。効果は測れる。 この三段は、ふつう疑われない。ところがこの三段のうち、いちばん脆いのは三つ目である。

同じデータを、方法だけ変えると符号が変わる

**2015年に *Econometrica* 83巻1号へ出た論文**は、ある大規模なオンライン取引所で行われた一連の大規模な実験の結果である。抄録の一文が、この単位の骨格になる。

> “Because search clicks and purchase intent are correlated, we show that returns from paid search are a fraction of non-experimental estimates.”（検索の押下と購入の意図は相関しているので、有料検索からの収益は、実験によらない推定値のごく一部でしかないことを示す）

どのくらい「ごく一部」なのか。 本文の表に、同じ支出について三つの数字が並んでいる。時期と地域の統制を入れずに通常の回帰で推定すると、投資収益率は4,100%を超える。統制を入れると1,400%を超える。そして実験で内生性を処理すると、−63%だった。

この三つは、別々の研究の数字ではない。同じ会社の、同じ広告費についての、同じデータである。 変えたのは処理の方法だけである。プラス四千パーセントとマイナス六十三パーセントが、同じ表の同じ行に並んでいる。

この単位の証拠の読み違え方は、ここにある。 広告の効果を語る数字を見たとき、それが実験で得られたのか、観察から推定されたのかを確かめないまま比べてしまう。

なぜ観察では大きく出るのか

理由は単純である。広告は、もともと買いそうな人に当たるように配られている。 だから広告を見た人と見なかった人を比べると、広告の効果と、もともとの買いやすさの差が、一緒に出てくる。

この論文は、いちばん極端な場合を実験で確かめている。自分の会社の名前で検索している人に、有料の広告を出すという買い方である。その広告を止めると、何が起きるか。

> “almost all (99.5 percent) of the forgone click traffic from turning off brand keyword [advertising]”（自社名の検索広告を止めたことで失われた押下の、ほとんどすべて（99.5%）が）

——自然な検索結果のほうに回収されていた。 季節性を考慮すると、失われた押下は0.529%だけだった。論文の言い方はこうである。

> “natural search is close to a perfect substitute for paid search, making brand keyword SEM ineffective for short-term sales.”（自然検索は有料検索のほとんど完全な代替であり、そのため自社名の検索広告は短期の売上には効果がない）

押下は増える。だが、その押下は、広告が無くても起きていた。 抄録の言い方では、“brand-keyword ads have no measurable short-term benefits”（自社名の広告には測定できる短期の便益は無い）。

測るのに、どれだけの標本が要るのか

**2015年に *The Quarterly Journal of Economics* 130巻4号へ出た論文は、もっと手前の問いを立てている。そもそも広告の効果は、どれだけの規模で測れば分かるのか。**

対象は、米国の大手小売業者と証券業者による25の大規模な現場実験で、その多くが数百万人に届き、合計で280万ドルの広告費にあたる。結論は素っ気ない。

> “The median confidence interval on return on investment is over 100 percentage points wide.”（投資収益率の信頼区間の中央値は、100パーセントポイント以上の幅がある）

理由は、個人ごとの売上の散らばりが大きすぎることである。広告費の一人あたりの額に比べて、個人の売上は非常に不安定で、変動係数が10ということも珍しくない。 だから——

> “informative advertising experiments can easily require more than 10 million person-weeks, making experiments costly and potentially infeasible for many firms.”（情報量のある広告実験は、容易に1,000万人週を超えて必要とし、実験は高くつき、多くの企業にとっては実行不可能になりうる）

1,000万人週である。 そして同じ論文が、実験によらない方法には“a crippling concern”（致命的な懸念）——広告が狙って配られていることによる選択の偏り——があると書いている。

**2019年に *Marketing Science* 38巻2号へ出た研究も、大規模な無作為化実験と観察的手法を突き合わせて、観察的手法はしばしば実験が生み出した処置効果を正確に復元できない**と報告している。

平均の弾力性は、思われていたより小さい

では、広告は効かないのか。そうではない。効き方が、思われているより小さいということである。

**2011年に *Journal of Marketing Research* 48巻3号へ出たメタ分析が、1960年から2008年までに公刊された56件の研究から、短期の弾力性751件と長期の弾力性402件を集めて統合した。結果はこうである。短期の平均は0.12。 これは先行のメタ分析の平均0.22より大幅に低い。 長期の平均は0.24で、こちらも先行の含意（0.41）よりずっと低い。**

弾力性0.12というのは、広告費を1%増やすと売上が0.12%増える、という意味である。 そして同じ論文が、時とともに弾力性が低下してきたとも報告している。効きは、耐久財のほうが非耐久財より大きく、製品の生涯の初期のほうが成熟期より大きい。

効果はある。ゼロではない。 ただし「知ってもらえば売れる」の傾きは、0.12だった。

時間・変化：階層は、支持されなかった

もっと古い問いもある。知る、好きになる、買う——広告はこの順で効く、という言い方である。

**1999年に *Journal of Marketing* 63巻1号へ出た総説は、250件を超える論文と書籍**を読み直して、広告がどう効くのかを整理した。五つの一般化を提示したうえで、そのうちの一つがこれである。

> “The generalizations suggest that there is little support for any hierarchy, in the sense of temporal sequence, of effects.”（一般化が示唆するのは、時間的な順序という意味での効果の階層には、ほとんど支持が無いということである）

「まず知り、次に好きになり、最後に買う」という順番に、証拠はほとんど無かった。 総説は代わりに、感情・認知・経験の三つを軸にした空間で広告の効果を考えるべきだと提案している。

二十五年たっても、この提案が「次の段階」であり続けている。

それでも、測れるようになってはいる

**2017年に *Journal of Marketing Research* 54巻6号へ出た研究は、実験の費用を下げる方法を提案したものである。広告が配信されるはずだった相手を、実際には配信せずに記録しておき、対照群として使う。 この方法だと、従来の方法と同じ精度を、桁違いに少ない支出で得られる。**

そしてこの研究は、効いた例も報告している。一度サイトを見た人に再び広告を出す施策で、サイトの訪問が17.2%、購入が10.5%増えた。

測れないのではない。測るのが高いのである。 費用を下げる工夫が進めば、測れる範囲は広がる。いま流通している数字の多くが、その工夫の前に作られたものだ、というだけである。

妨げるもの、助けるもの、最初の一歩

妨げるものの筆頭は、押下や表示回数を、効果として読むことである。自社名の検索広告を止めても、押下の99.5%は自然検索に回収された。動いたのは経路であって、行動ではなかった。

もう一つ。「認知が上がれば売れる」の順番を、確かめられたものとして扱うこと。 250件超を読み直した総説は、時間的な順序としての階層にはほとんど支持が無いと書いている。

助けるのは、その数字が実験から来たのか、観察から来たのかを最初に確かめるという一手である。同じデータで、方法を変えるだけで、プラス四千パーセントとマイナス六十三パーセントが出る。

標本の偏りを断っておく。ここで引いた実験は、大規模なオンラインの事業者と、米国の大手小売業者が中心である。 小さな商圏、口伝えが主な経路の商い、来店が中心の商いに、同じ数字が当てはまるとは言えない。むしろ言えるのは、規模が小さいほど、効果を統計的に測るのは難しくなるということである（必要な標本の話がそのまま効く）。

最初の一歩は5分。手元にある広告や発信の報告を1つ選び、そこに書かれている数字が「表示・押下・到達」のどれなのか、それとも「買った件数」なのかを分けて書き写す。 買った件数が書かれていなければ、「書かれていない」と書く。分けて書くだけで、その報告が何を報告していたのかが手元で見える。

次の単位は 246「リード育成・資格化能力」——来てもらった相手を見分けるという話。その定義と、いちばんよく引かれる数字の出どころを探す。

広告の効果が語りやすいのは、効いているからではなく、効いたことにする方法がいくらでもあるからである。押下を数えれば増えるし、見た人と見なかった人を比べれば差が出るし、時期を揃えれば数字は落ち着く。実験を通した結果だけが、そのどれとも違う数字を返してくる。