1. データ統合はなぜ必要？

DXへの第一歩

DXは、「デジタル技術を駆使したビジネスモデルへ移行しつつ、柔軟に組織を変える能力を身に付けること」と言い表すことができます。デジタル技術を駆使したビジネスモデルへの転換には、データの活用が欠かせません。なぜなら、現代のビジネス環境において、データは重要な経営資源のひとつであり、もはやデータ無くして新しい知見は得られないからです。したがってデータ統合は、DXの前段として欠かせない施策であると考えられます。

生産性の向上

データ分析作業は準備にかかるコストが大きいため、データ統合によって生産性の向上を図ることが有用です。具体的には、データレイクなどにデータを統合し、必要に応じてデータカタログとして抽出し、BIやAIツールに活用することで分析作業が効率化されるでしょう。

活用イメージの具体化

通常、活用イメージの具体化はデータ統合前に行われるものです。しかし、データ統合後に新たな活用イメージが具体化されることもあります。例えば、サービス品質の向上を目的として顧客行動データを統合したとしましょう。当初の活用イメージに沿ってサービスの改善を進めていく中で、データが徐々にリッチになり、RFM分析用のデータとしても活用できるかもしれません。RFM分析の結果に沿って広告配信を行えば、広告の費用対効果を向上させることも可能です。また、自社の持つデータを統合した結果、「何が出来そうか」といった議論が社内で交わされ、あらたなビジネスモデルが生まれる可能性もあります。

2. データ統合の具体的なステップ

データ統合の具体的なステップについて解説します。データ統合を成功させるには、「統合対象の決定」「対象データの加工」「データの集積」という3つのステップを適切に進めていく必要があります。以下は、各ステップの具体的な内容です。

統合対象の決定

まず、社内システム・従業員個人のPCなどに存在するデータをリスト化し、精査したうえで統合対象を決定します。社内システムについては、基幹システムとサブシステムを含めて横断的に精査していきましょう。一般的には、下記のようなデータが統合対象になります。

• 業務アプリケーションのトランザクションデータ
• 製品、サービスのマスタデータ
• CRMなどに蓄積された顧客データ
• 外部IoTシステムから集められたセンサーデータ

対象データの加工

統合対象が決定したら、対象データの加工を行います。データ加工では、次のようなタスクを進めていくことになるでしょう。

・データのフォーマット統一
ファイル形式や文字コード、項目のデータ型などを決定し、統一されたフォーマットを作成します。複数の文字コード（Shift-JIS、UTF-8など）が混在する場合は、いずれかひとつに指定して文字化けが生じないようにしてください。また、日付や通貨については桁数や通貨単位を統一し、分析ツールで扱いやすい形に整えていきましょう。

・欠損値および異常値の検出と補正
何らかの事情でデータが正常に取得できていない「欠損値」や、本来取得すべきでないデータが取得されている「異常値」などに対しては、適宜補正を行います。欠損値や異常値は、統合後のデータ連携などにおいて不具合の温床になるため、早い段階で取り除くことが大切です。

・重複データの削除と名寄せ
対象データの中に重複がある場合は、削除するか、名寄せによって関連付けを行うかの判断が必要です。特に名寄せは、データの使い勝手や価値を向上させるために無くてはならない工程です。一般的に名寄せは、「共有キー」を設定したうえで、関連性のあるデータを紐づけていきます。また、紐づけ作業と並行してデータの調整も行いましょう。例えば「列構造調整」ではデータを管理する列の数を調整し、行列構造調整ではデータが開始される位置の調整を行います。

データの集積

データ加工のあとは、データの集積方法を決定し、集積を進めていきます。データの種類・活用の方向性・目的によって集積場所のタイプは異なるため、複数の候補から最適な方法を選択していきましょう。以下は、データ統合で使用される集積方法の例です。

・データレイク
データレイクとは、ビッグデータを生データのまま保管する集積方法です。容量あたりの価格が安く、制限も少ないため、短期間でデータ統合を進められることがメリットです。音声・動画・テキストドキュメントなど非構造化データの保管で用いられることが多いでしょう。

・DWH（データウェアハウス）
DWHは、主に基幹システムと連携し、複数の業務システムやデータベースからデータを集める集積方法です。集積されたデータはテーマや目的ごとに分類され、時系列に沿って整理されていきます。データレイクよりも制限が多い一方で、データ活用時には利便性が高いという特徴を持ちます。例えば、部門を横断した販売分析や販路ごとの顧客分析などでは、DWHに保管されたデータが適しています。一般的には、データレイクと共存するかたちで活用されるケースが多いようです。

・CDP（カスタマー・データ・プラットフォーム）
CDPとは、複数の場所から自社が取得した顧客データ（ファーストパーティーデータ）を収集し、顧客ごとに整理・保管する仕組みです。顧客ごとの属性データや行動データを収集・統合し、分析しやすいかたちで補完できるため、マーケティング業務の効率化や生産性向上に貢献します。特にデジタルマーケティングでは、CDPを起点として顧客理解の深化やマーケティング施策の立案が行われることが多いでしょう。

・DMP（データ・マネジメント・プラットフォーム）
DMPは、自社の内外から様々なデータを取得し、蓄積してマーケティング施策に活かすための仕組みです。DMPにはサードパーティーデータを集積・管理する「オープンDMP」と、ファーストパーティーデータをクローズドな環境で蓄積する「プライベートDMP」という2つのタイプがあります。前述のCDPとDMPのうち、どちらを採用すべきかはケースバイケースです。しかし、オープンDMPとCDPは補完関係にあるため、併用されることも珍しくありません。

・PIM（プロダクト・インフォメーション・マネジメント）
PIMは、日本語で「商品情報管理」と翻訳されます。商品情報とは、製品の基礎情報（仕様や価格など）に、訴求力を高める情報（商品説明、ブランドロゴ、キャッチコピー）を加えたものです。PIMを使ったデータ統合では、主にブランディングやプロモーションの効率化・質の向上が期待できます。

・DAM（デジタル・アセット・マネジメント）
DAMは、企業内に存在する情報資源を集積・管理するための仕組みです。デジタルコンテンツ（テキスト・動画・静止画やカタログに使用するデータ）を、統一のプラットフォームで管理します。DAMを使用することで、メタ情報が整理されてアクセス性が向上したり、使用するメディアに合わせたデータ変換作業を効率化できたりといった効果が期待できます。また、コンテンツの著作権管理も容易になるため、デジタルコンテンツの管理コスト削減にもつながるでしょう。

・データ仮想化
データ仮想化は、複数のデータソースから取得したデータを仮想化し、「仮想レイヤー」と呼ばれる場所で一元的に管理する仕組みです。データ仮想化ではオリジナルデータの物理的な移動・保存が発生しないため、厳密に言えばデータの集積は行われません。ただし、仮想的にデータが一元化されることで、保管場所の容量を気にすることなく、迅速なデータ活用が可能になります。また、仮想化される前のオリジナルデータには一切アクセスが発生しないため、データ消失のリスクも低減させることができます。

3. データ統合の成功事例

事例1: 外部データ、非構造化データの利用

欧州のある非営利組織では、データに複数のバージョンが存在し、なおかつ外部データや非構造化データが利用できないという課題が発生していました。また、データ利用には一定のコストが発生するため、予算内で活用できるデータに制限が生じていました。こうした事情から、MAとの連携が思うように進まず、データ活用の恩恵が感じられない状態だったそうです。

そこでデータ仮想化によるデータ統合を進め、データ統合基盤の改革を行いました。その結果、社内の全利用者が最新のデータを利用できるようなり、データクレンジングや保管にかかるコストの削減にも成功しました。さらに、MAとの連携もリアルタイム性が強化され、組織内でのデータ利活用が活発になったとのことです。

事例2: 部門横断型でデータを統合

国内のある自動車メーカーでは、本社・販売店・マーケティング部門・システム部門が、それぞれ独自にデータを管理していました。いわゆる「サイロ化」が発生しており、データをもとにした製品・サービス開発が進んでいなかったとのことです。この状態を解決するために、DMPによってデータ統合を進めました。具体的には、カーナビゲーションから得られる移動データと車体購入データを組み合わせて顧客行動の分析を行いました。こうした取り組みが功を奏し、消耗品やオプション品の販促を強化することができたそうです。