「チェックで質は保てる」——だが品質は一度の点検で確定する状態でなく、たえず手入れを続ける過程。多次元で用途依存で、時間とともに劣化する

集めたデータは、そもそも信じられるのか。入り口できちんとチェックすれば質は保てる、と考えたくなる。だが品質は、一度の点検で確定する『状態』ではなく、たえず手入れを続ける『過程』である。チェックはある瞬間を写したスナップショットにすぎない。質の低いデータはどんな組織にも広く存在し高くつき（Redman 1998、Haug ら 2011）、品質は正確さ・完全さ・新しさ・一貫性という多次元で、その評価・改善は方法論の問題であり（Batini ら 2009）、どこまでの質が要るかは用途によって変わる（Even & Shankaranarayanan 2007）。小さなエラーは集計・グラフを経て判断まで伝播し（Klein 1999）、品質は時間とともに動的に劣化する（Labouseur & Matheus 2017）。だから保つべきは、状態でなく過程である。

「チェックで質は保てる」——品質は状態でなく、過程である

前の単位では、データを一箇所に集める話を扱った。集めることと使えることの間には距離がある、と見た。だが、その距離を渡ろうとする前に、もっと足元の問いがある。そもそも、その集めたデータは、信じられるのか。 ここでは、データの品質——数字が正しく、そろっていて、新しく、食い違いのない状態か——を扱う。どんなに立派な分析も、もとの数字が間違っていれば、間違った答えを、もっともらしく差し出すだけになる。

「入力のときにきちんとチェックすれば、質は保てる」——そう考えたくなる。入り口で間違いを弾けば、あとは安心だ、と。だが、この単位が最初に置く注意はこうだ。品質は、一度の点検で確定する「状態」ではなく、たえず手入れを続ける「過程」である。 チェックは、ある瞬間を写した写真（スナップショット）にすぎない。撮った瞬間は正しくても、時間がたてば、顧客は引っ越し、担当は代わり、商品は入れ替わる。データは、放っておくと、静かに古び、食い違い、傷んでいく。だから「一度チェックしたから大丈夫」は、成り立たない。質を保つとは、写真を一枚撮ることではなく、庭の手入れのように、続けることなのだ。この見方の切り替えは、地味だが大きい。「状態」だと思っていると、一度きれいにした達成感で、つい手を止めてしまう。だが「過程」だと分かっていれば、劣化は当たり前の前提になり、いつ・どう手を入れ続けるかを、はじめから仕組みに組み込める。完璧な一枚を目指して力尽きるより、そこそこの手入れを、細く長く続けるほうが、結局は澄んだデータに近づく。

質の低いデータは、広く、高くつく

まず、地味だが動かせない事実から。質の低いデータは、どんな組織にも広く存在し、しかも高いコストを課している。

Redman が1998年に、多くの企業で、質の低いデータが業務のあちこちに潜み、実務に無視できない負担をかけていることを論じた。間違った住所への再発送、二重に登録された顧客への重複連絡、食い違う在庫数による欠品や過剰——一つひとつは小さくても、積もれば大きな時間とお金が失われる。しかも、こうした損は「データ品質のコスト」という名前では、帳簿のどこにも載らない。再発送の送料や、問い合わせ対応の残業として、別の科目にまぎれて、静かに支払われている。Haug、Zachariassen、van Liempd も2011年に、質の低いデータが生むコストを具体的に調べ、その負担が想像以上に大きいことを示した。データの質は、「あればいい」程度の話ではない。悪い質は、目に見えないところで、日々、静かに請求書を積み上げている。だからこそ、質は、後回しにできない土台なのだ。前の単位で「集めれば使える、わけではない」と見たが、それ以前に、集めたものの中身が濁っていれば、どんなに立派に統合しても、濁った水を大きな樽に移し替えるだけになる。質の悪いデータの上に築いた分析は、どれだけ精巧でも、砂の上の建物と変わらない。だからこの単位は、派手な分析の手前で、あえて足元の掃除に立ち止まる。

品質は多次元で、用途によって変わる

では、「良いデータ」とは、どういうものか。ここが、チェックリストで割り切れないところだ。データの品質は、一つのものさしでは測れない。 正確さ（間違っていないか）、完全さ（欠けていないか）、新しさ（古びていないか）、一貫性（同じものが別々の場所で食い違っていないか）——いくつもの側面があり、それらは、ときにぶつかる。「良いデータ」と一口に言っても、そのどれを指しているのかで、やるべきことは変わってくる。

Batini、Cappiello、Francalanci、Maurino が2009年に、データ品質の評価と改善を、単発のチェックではなく「方法論」の問題として整理した。品質は、その場で丸かバツかを付けて終わり、ではない。何を、どの側面で、どう測り、どう直し続けるかという、仕組みの話なのだ。しかも、側面どうしは、ときに引っ張り合う。たとえば、完全さを求めて空欄を無理に埋めれば、正確さが下がる。新しさを求めて速く取り込めば、確認が甘くなって一貫性が崩れる。だから「全部を最高に」は、そもそも成り立たない。さらに、Even と Shankaranarayanan が2007年に、「良い品質」は用途によって変わることを示した。同じデータでも、大まかな傾向を見るには十分な質が、一人ひとりに請求書を出すには足りない、ということがある。どこまでの質が必要かは、そのデータを何に使うかで決まる。だから、「完璧なデータ」を目指す前に、「この用途に、どこまでの質が要るのか」を問うほうが、現実的だ。これは、手を抜いてよい、という話ではない。むしろ、力の入れどころを見極める、という話だ。限られた時間と手間を、すべての側面に薄く広げるより、その用途で狂うと痛いところに、集中して注ぐ。たとえば、月次のざっくりした売上傾向を見るだけなら、一件二件の記入漏れは大勢に影響しない。だが、その数字をもとに一人ひとりに請求書を出すなら、一件の間違いが、そのまま一人の顧客の不信につながる。同じ「売上データ」でも、後者では、正確さと完全さに、はるかに高い水準が要る。

エラーは静かに、判断まで伝わる

質の低さが厄介なのは、それが、入り口で止まらないからだ。小さな入力ミスや古びた数字は、そのまま集計され、グラフになり、最後には判断にまで、静かに流れ込む。

Klein が1999年に、データのエラー率が、そこから作られる予測や分析の精度に伝播することを示した。もとが少し歪んでいれば、それを土台にした計算も、同じだけ歪む。しかも、きれいなグラフになった数字は、いかにも正しそうに見えるから、途中の歪みは、たいてい気づかれない。そして、Labouseur と Matheus が2017年に、データの品質は、時間とともに動的に劣化するという、この単位の芯を、あらためて指摘した。世界が変われば、それを写したデータも古びる。保つべきは、ある瞬間の「きれいな状態」ではなく、劣化に合わせて手入れを続ける「過程」なのだ。一度きれいにしたデータも、手を入れなければ、また濁っていく。川の水と同じで、流し続け、澱みを取り続けることでしか、澄んだままには保てない。ここには、少し怖い面もある。エラーが判断まで伝わっても、途中では、たいてい誰も気づかない。むしろ、きれいに整ったグラフや、小数点まで並んだ数字ほど、私たちは「正確だ」と信じてしまう。見た目の精密さと、中身の正しさは、まったく別のことなのに。だから、数字を見るときに大事なのは、その数字が「どんなデータから、どんな手入れを経て」出てきたのかを、一度は疑ってみることだ。きれいな結論ほど、その足元を、一度は確かめておきたいものだ。

時間・変化：1998年から今へ

順に置く。1998年、Redman が、質の低いデータが広く存在し高くつくことを論じる。1999年、Klein が、エラー率が分析の精度に伝播すると示す。2007年、Even と Shankaranarayanan が、良い品質は用途によって変わると示し、2009年、Batini らが、品質の評価・改善は単発でなく方法論の問題だと整理する。2011年、Haug らが、質の低いデータのコストを具体的に調べ、2017年、Labouseur と Matheus が、品質は動的に劣化すると指摘した。

こうして並べると、研究の目が、少しずつ深まってきたのが分かる。はじめは「質の低いデータは、どれほど損か」を測ることから始まり、やがて「良い品質とは、そもそも何を指すのか（多次元・用途依存）」へ、そして「それは、どう時間とともに崩れていくのか（過程）」へと、問いが移ってきた。

この間に確からしくなったのは、「チェックで質は保てる」ということではない。確からしくなったのは、質の低さは広く高くつき、品質は多次元で用途依存で、時間とともに劣化する——だから保つべきは状態でなく過程である——という、向きのほうである。

妨げるもの、助けるもの、最初の一歩

妨げるものの筆頭は、「一度きれいにしたから、もう大丈夫」という安心である。データは、放っておけば古びる。掃除を一度したから、二度と汚れない部屋がないのと同じだ。もう一つは、逆に「完璧なデータでなければ使えない」と、質の低さを理由に何も始めないことだ。用途しだいで、必要な質は変わる。大まかな傾向を掴むだけなら、多少の欠けや古さは、致命傷にならないこともある。

助けになるのは、いきなり全部を点検する前に、「前の単位で決めた大事な数字にとって、どの側面の質が、いちばん効くか」を一つ決めることだ。全部を守ろうとすると、たいてい何も守れない。一点に絞るからこそ、続けられる。最初の一歩は10分。その数字を出すデータについて、正確さ・完全さ・新しさ・一貫性のうち、狂うと判断がいちばん歪むのはどれかを一つ選び、それを「いつ・誰が・どうやって手入れし続けるか」を、一行決める。負担が小さく、無理なく続けられる形にしておくのがコツだ。全部を完璧にしようとせず、効く一点を、過程として回す。この「効く一側面を、続けて手入れする」構えが、きれいな写真を一枚撮って安心する罠から、あなたを守ってくれる。データの質は、一日で完璧にするものではなく、毎日ほんの少しずつ、続けて守るものだ。地味だが、この土台がしっかりしているかどうかで、この先に積む読む力も使う力も、まるで変わってくる。濁った水の上には、澄んだ結論は、決して立ちようがないのだ。

皮肉なのは、いちばん安心できる瞬間――『チェックが全部通った』瞬間――が、いちばん油断の入り口だということだ。その一枚の写真が正しくても、世界は動き続け、データはその瞬間から、また古びはじめる。確からしいのは、質の低さは広く、静かに高くつき、品質は一つのものさしでは測れず、用途によって必要な水準が変わり、そして時間とともに劣化する、ということだ。だから、質を保つとは、完璧な状態を一度作ることではない。庭の手入れのように、川の水のように、続けることだ。とはいえ、全部の側面を、全部のデータで、完璧に手入れし続けるのは無理がある。だから、まず一点。前の単位で決めた大事な数字にとって、狂うといちばん判断が歪む側面はどれか。その一つを、いつ・誰が・どう手入れし続けるかを決める。効く一点を過程として回す――これが、きれいな写真に安心しない構えだ。次の単位は 532「誰もが使えるダッシュボードにするには？」。ここまでで、見るべき数字を決め、集め、質を保った。青段の締めとして、それを見える形にする話へ進む。