データクレンジングを失敗させないためには？的確な意思決定、業務の効率化が可能に

データクレンジングとは

データクレンジングとは、データベースにおいて、破損したデータ、不正確なデータや表記の揺れ・誤記・重複を抽出し、修正や正規化を行ってデータの質を高めることです。

表記の揺れや重複には、全角文字と半角文字の違い、空白や区切り記号の有無、人名の誤りや法人名の表記（「（株）」と「株式会社」の違い）などがあります。表記揺れや重複をなくすことで、例えば、営業・マーケティング部門では顧客データベースを活用した高精度な分析や的確なアプローチをすることができるようになります。

データクレンジングがより重要なものに

新型コロナウイルス感染症の流行によって、企業の営業・マーケティング活動の在り方は刻一刻と変化しています。ウィズコロナ、そして、アフターコロナの環境下では、オンライン化が加速し、顧客とのコミュニケーション手法にも変化が求められています。さらにその中で顧客のニーズを捉え的確にアプローチするために、社内で保有しているデータを整備してより精微なデータ基盤を構築し、そのデータを基に事業戦略を立てていくことが重要視されています。

データクレンジングと名寄せの違い

データクレンジングと混同されがちなものに、「名寄せ」があります。どちらもデータベースを整備する際に使われるものですが、名寄せは複数のデータベースを統合するときに重複する同一顧客のデータを一つのデータとしてまとめる作業を指します。一方、データクレンジングは一つのデータベース上のデータの欠損や表記揺れ、誤記、重複の修正と正規化を行いデータの質を高めることを指すという違いがあります。

データクレンジングによって実現できること

データクレンジングを行いデータの質を高めれば、正確なデータ分析が可能となり、確度の高いマーケティング活動を実行できるようになります。これによって得られるメリットは次の三つです。

1. 確実なデータ分析を基にした、的確な意思決定
2. 営業・マーケティング活動の効率化
3. 精度が高いPDCAサイクルの実現

それぞれ詳しく見ていきましょう。

1．確実なデータ分析を基にした、的確な意思決定

獲得したリードが、想定しているペルソナと本当に合致しているのか検証するときの分析精度の向上も期待できるなど、データクレンジングによってデータベースの質が上がるため、正確な情報を基にした意思決定が実現します。不確実なデータを基に分析してしまうと、分析の精度が落ち、誤った意思決定をしてしまう可能性もあります。そのためにはまず確実なデータが必要となります。

2．営業・マーケティング活動の効率化

高品質なデータベースは、営業やマーケティング部門の業務効率化の実現にもつながります。顧客がどの業種でどのような業務に携わっているか、役職は何か、関心のあるテーマは何か、といった情報が正しく付加されたリードの統合データがあれば、案件化につながる確率が向上するでしょう。

3．精度が高いPDCAサイクルの実現

例えば、ターゲットのセグメントに対して関連性の高いコンテンツを確実に届ける、といったアプローチを高い精度で行うことが可能になるなど、正確なデータに基づく戦略を策定し、施策を実行することで効率的にPDCAサイクルを回すことができます。

データクレンジングの流れ

データクレンジングに取り組むためには、いくつかの段階を踏まねばなりません。その流れを四段階に分けて説明します。

1：営業活動に必要なデータを定義する

まず、自社の営業活動において必要なデータを定義します。

例えば、会社名、名前、所属部署名、メールアドレス、携帯電話の番号といったデータはもちろん、会社の住所、上司や部下の名前、決裁権、商談・コンタクト履歴…といった情報も営業やマーケティングには必要です。

2：データの修正や名寄せを行い、データの質を高める

各部署からデータを集め、会社名、名前、所属部署名、メールアドレス、電話番号など表記の揺らぎを修正し名寄せを行っていきます。

会社名や住所といった基本データはAIなどで自動処理するのが望ましいですが、同一人物と思われる人が二人いる、異動や退職したかもしれないといった情報はAIでは判断がしにくいです。最後は担当者が自分で複数回チェックするか、コストがかかるものの人間の目で複数回チェックするデータクレンジングサービスを導入すべきです。

3：データ入力の標準化を定義し、ツールと連携・取り込む

データクレンジングは一度やっただけで終わりではありません。正しいデータ入力が継続的に行われる仕組みを作るところまでがデータクレンジングです。

そのためには、データ入力ルールを定義しておくべきです。例えば、数字や英語は半角で入力する、名前は名字と名前の間は全角スペースを空ける、株式会社は（株）と表記しないなどです。こうして整形したデータをCRMやMAツールなどに連携するか取り込むことで、やっと営業活動に使えるようになります。新規入力するときは、先に決めたルールに沿って入力していきましょう。

4：データ内容が正しいかどうか継続的に見直す

いくらデータが正しく入力されていたとしても、担当者の異動や退職、そして入力間違いといったエラーは防ぐことが難しく、人が入力しているデータの不具合やバグを100%防ぐのも難しいです。

そこで、定期的に入力内容が正しいかどうかを見直す必要があります。データの質の担保も必要です。この作業は、データを使っている部署全員で月に一回などと決めて継続的に取り組んでいきたいです。

データクレンジングを行う際のポイント

次に、実際にデータクレンジングを行う際に気をつけておくべきポイントを五つ紹介するので参考にしてみてください。

ポイント1：データクレンジングのキーとなる情報を決める

一度コストをかけてデータクレンジングをしたからといって、データの質が維持されなければ意味がありません。質を高めるために、まずは名寄せ・重複データの統合や削除に必要な、キーとなる情報を定めましょう。

例えば、会社名と名前・電話番号が合っていれば同一人物とみなす、メールアドレスをキーに統合していくなどです。

ポイント2：データの入力ルールやフォーマットを統一する

データの入力ルールをそろえることには、データの質を担保するだけでなく、BIツールやCRMといった他のツールと連携しやすくなる効果もあります。

またデータのフォーマットを統一しデータがバラバラにならないようにするのも忘れてはならないポイントです。

ポイント3：いつでも最新のデータを見られるような環境構築をする

営業、インサイドセールス 、マーケティング…すべての部門で同じツールを使って最新データが見られるような環境構築が必要です。

営業とインサイドセールスが別々のツールで情報管理をしていては、またデータがバラバラになり、最新のデータが閲覧できない状況になってしまいます。

ポイント4：重複データを1つのデータに集約する

名前がひらがな・漢字で入力されている、同じ会社なのに本社と営業所がデータ上は別会社として扱われている、といった重複データの集約がデータクレンジングにおいて最も重要なポイントとなります。

重複データの集約はポイント1で述べたメールアドレス、名前といったキー情報を基に行いましょう。

ポイント5：定期的にデータの更新を行う

営業活動で運用していく際には、鮮度の高い情報の蓄積が大切だ。実施時期を決めて定期的に最新情報を入手して連携しておきましょう。

また、ツールによっては、会社名が変更になった、担当者が退職して別の会社に就職したなどのタイミングで自動的に行ってくれることもあります。

失敗事例でわかるデータ整備の課題とその原因

データクレンジングにおける問題点は抽象的に説明するとイメージしにくいです。ここではよくあるシーンで具体的に解説していきます。

顧客へのコミュニケーションが裏目に出てしまう

自社カンファレンスへの集客メールやダイレクトメール、年賀状やお礼状などを顧客に送りコミュニケーションを取ろうとして、次のようなことが起きてしまい、時間とコストをかけたのに裏目に出てしまったことはないでしょうか。

・宛名が間違っていることを指摘された
・同じものが複数届いた、と言われた
・対象の人物は退職した旨の連絡がきた
・不達で戻ってきた

せっかくコストをかけて実施した施策が意味のない結果になるだけではなく、場合によっては企業への信頼を損ねることもあります。これでは元も子もありません。

施策が失敗に終わる理由

このような残念なことが起こるほとんどの理由は、顧客データベースの状態に起因しています。

顧客データがアップデートされず、古いままになっている

ウェブサイトからの資料ダウンロードやイベント参加、初回の商談などをきっかけに入力された顧客データが、入力時点のままになっており、更新されていないことはないでしょうか。

昇進や役職の変更、会社名やメールアドレスの変更、転職など、顧客データは常に最新に保っておきます。

顧客データに誤りや欠損がある

ウェブでのフォーム入力時に顧客が誤って自身の部署や役職、メールアドレスを入力していることもあります。

また、施策によって入力項目にばらつきがあり、顧客データごとに持っている項目が異なる可能性もあります。

同一人物がいくつも登録されている

転職や昇進により、情報が変わったことで、同じ人物にも関わらず、二重三重に登録される可能性があります。

また、登録されている会社名が「（株）●●」と「株式会社●●」と入力されていると、同じ人物でも別の会社に所属している人物として登録されてしまいます。特に手入力で登録している際には、細かな違いで情報が二重に登録されてしまうことも少なくありません。

解決策は、顧客データの管理を見直すこと

顧客データを正確かつ最新な状態を維持するために、管理方法を見直さなければ、同じ失敗を繰り返してしまいます。先に触れた通り、顧客データの管理の際、よくある失敗の解決策としては以下が挙げられます。

顧客データをこまめに更新する

部署異動や昇進、転職などによって、1年で人物情報は48％劣化していきます（※ Sansan株式会社調べ）。そのため、定期的にデータを更新する必要があります。名刺や登記情報などの外部情報を活用し、顧客データは常に最新化しておくことが重要です。

入力ルールやフォーマットを統一する

（株）といった略式は使わず正式名称で記載する、電話番号は半角で登録するといった、顧客データの入力時のルールが統一されておらず、担当者によって形式がばらばらになってしまっていることはないでしょうか。Excelなどへの手入力では、以前同じ顧客データを取得していたにも関わらず、気づかずに入力してしまうパターンが多いです。

あらかじめルールを整理して共有するなど、統一したフォーマットを担当者に配布しておくことが望ましいです。

定期的な名寄せを実施する

名寄せがされておらず、同じ人物が別人として登録されてしまっていることもよくあります。入力ルールを統一して気を付けていても、同じ顧客データが重複されて登録されてしまうことは起こりうるため、定期的に名寄せを行うことをおすすめします。しかしながら、言うはやすく行うは難し、これらの管理を全社で徹底することは社員数が多くなればなるほど難しくなります。また、マーケティング部門が実行するとしても、全て人力で作業するには膨大な手間とコストがかかるでしょう。

そこでこの三つの管理作業を自動化することで、手間を削減しつつ、顧客データを整備することが可能となります。顧客とのコミュニケーションの質を向上し、リードナーチャリングなど施策の効果を最大化することにつながります。

データクレンジングツールの選び方

国内のデータクレンジングの市場は徐々に拡大しており、2020年度には初めて100億を超え、今後も規模が大きくなることが予想されています。そんなデータクレンジングツールを選ぶときのポイントを解説していきます。

選び方1：データ移行の方法の決定

データクレンジングをするには部署内、担当者ごとに散らばったデータをひとつに集めなければならないですが、保有データファイルがバラバラであることが多いです。

CRMやMAツールなら連携させることができれば作業の手間が省けます。

選び方2：保有データの質

保有データの質も重要です。データの質は企業データの保有数、データの更新頻度の二点が焦点になります。

企業データの保有数

総務省と経済産業省が公表している「平成28年経済センサス-活動調査」によると、日本の大企業・中小企業・小規模事業者の合計は2016年6月の集計で350万社以上です。

データクレンジングツールを使用するメリットの一つは、企業データの質が保たれることです。どの分野・ジャンルの企業情報を保有しているかもツール選定の重要なファクターです。

データの更新頻度

データクレンジングツールで補完される情報が古ければ、導入の意味がありません。更新頻度が高めのツールを選んだ方が、情報の精度が高まるでしょう。

選び方3：保管可能な情報項目・入力補助機能といったツールの性能

次は、営業活動に必要なデータを全部入力できるかどうかです。資本金や社員数、業種といったデータが営業活動に必要であれば、ツール内で把握しておきたいです。データクレンジングツールは得意分野があるため、自社の営業活動に必要なデータを必ずしも補完できるとは限りません。自社の必須データは自社の業種、ターゲットによって違うため、ツール選定前に明確にしておくべきです。

昨今は新型コロナウイルス感染症の影響で、オンライン会議をしたり電話で情報を聞いたりといった、直接会って名刺交換を行う機会が減ってしまい、担当者の正確な名前を聞き出すことが難しくなりました。営業のオンライン化のためには、ツールに入力者の補完機能もあると望ましいでしょう。入力を正確にかつ容易にするためには、名刺の写真を撮るだけで連絡先が入力される機能や、デジタル名刺交換ツールとの連携できるものも視野に入れたいです。

昨今はリモートワーク化によるオフィスの移転や合併が多くなっていますが、挨拶やお知らせがあるとは限りません。自動的にデータが更新される仕組みも欲しいところです。

顧客とのコミュニケーションの質を向上させ、成果につなげるために

新型コロナウイルス感染症の流行によって、企業の営業・マーケティング活動はオンラインの活用が必須となりました。オンラインを活用して成果を上げるためには、社内で保有する顧客データを常に正確・最新にした状態で、データを活用して的確にアプローチすることが求められるでしょう。顧客データが整備されていないまま放置しておくと、顧客とのコミュニケーションが断片的になってしまい、場合によっては企業の信頼を損なう事態が発生しかねません。

しかしながら、顧客データ整備を全て人力で行うには膨大な手間とコストがかかります。この作業の自動化が、負担なく顧客とのコミュニケーションの質を向上させ、施策の効果も最大化させることにつながります。

顧客データを最適なものへ進化させる「Sansan Data Hub」は、名刺をスキャンするだけで顧客データの統合、正規化、リッチ化を自動で行うことを実現します。さらに、社内で利用しているSFAやCRM、MAシステムとのデータ連携によって、データの質をさらに高め、より効果的なデータ活用が可能になります。ぜひ、データクレンジングを手間無く行い、企業活動に役立ててください。