データに基づいた意思決定は、ビジネス成功のカギと言っても過言ではありません。それほどデータは重要な資産です。これまでデータを一か所で集中管理する中央集権型のデータ管理が「正」とされてきました。しかし、一元的なデータ管理がボトルネックになるという課題があります。その課題を解決するアプローチとしてデータメッシュという概念が誕生しました。この記事では、データメッシュとは何か、なぜこのような新しい概念が必要なのかを解説します。
データメッシュが必要になる理由
多くの企業は、データを活用したビジネスに気づき、データレイク、データウェアハウス、またデータを管理するデータチームに多額の投資を行ってきました。そして、データガバナンスを考慮して、多くの企業では一元的にデータを管理する中央集権型のデータ管理が行われています。そして、データの重要性が増すにつれて、データを活用したい人も増えています。
また、より正確で確実な意思決定を行うためにも、基盤となるデータ量そのものを増やす必要があります。実際、このようなデータ量は今後5年間で180ゼタバイトを超えると予想されています。そこで懸念されるのが、一元化するためのツールや人がボトルネックになってしまうということです。ビジネスにデータを活用することはもちろん重要ですが、そのスピードも同様にビジネスに求められる重要な要素になります。
ここで従来の中央集権型のデータ管理の課題について整理しましょう。
1. スピード
データレイクにデータを移動し、データを使える状態まで準備するのに時間がかかります。準備に時間がかかれば、当然このデータから得られるインサイトを得るまでも時間がかかります。
2. コスト
データを移動するために、独自フォーマットに変換したり移動するための料金を支払ったり、高価なストレージを購入し、管理するチームの人件費もかかります。
3. データの一元化がそもそも不可能
データの一元管理は理想ですが、そもそもこの目的が達成できていない可能性があります。それほど、データを一ヵ所に集約することは難しいことなのです。
データメッシュとは？
このような課題を解決するために誕生したのが、データメッシュという概念です。データメッシュは、従来のデータを一か所で集中管理する中央集権型のデータ管理とは真逆の分散型のデータ管理の手法です。
事業ドメイン毎にオーナーを建て、データ所有者、データ作成者、データ利用者を直接つなぐことで、ビジネスユーザーがよりアクセスしやすく、より利用しやすくすることを目的としています。
但し、データメッシュは魔法のようにボタン一つで実現できるものではありません。テクノロジーとオペレーションの2つの側面を見直す必要があります。そのためには一定のルールが必要になり、データメッシュは以下の４つの原則から成り立っています。
１．事業ドメイン単位によるオーナーシップ
データメッシュと従来の一元化アーキテクチャの最も大きな違いです。独立した事業ドメインを持つ企業において、誰もがデータを管理したいと思うでしょう。それはその事業ドメインに対して、最も専門的な知識を持っているからです。言わばデータ管理の権限移譲を意味します。それによって、データ品質やデータ活用のスピードが向上します。
2．製品としてのデータ
データは事業で得られた副産物ではなく、データそれ自体が製品であるように捉えます。事業ドメイン単位で作られたデータを社内外で使用するためにデータを最適にパッケージ化します。
3．セルフサービスのデータプラットフォーム
データメッシュの導入にあたり、既存のデータレイクなどの投資が無駄になるのではという懸念があります。しかし、データメッシュではデータインフラをプラットフォームとして提供します。各事業ドメインが独自にデータ基盤を構築するのではなく、必要な基盤はセルフサービスによりプラットフォームから提供します。
4．統一されたガバナンス
データメッシュは、事業ドメインに十分な自律性を持たせながらガバナンスを遵守するために、事業ドメインとIT組織の間で責任を分担することを提案しています。データメッシュの重要な側面は、分散したデータの安全性を保ち、保証することです。
まとめ：データメッシュの可能性
従来の中央集権型のデータ管理手法を導入すると、データ量が増えるほどデータ管理には問題が発生します。データ品質の問題を管理するために品質管理を強化したり、データプラットフォームのボトルネックを解決するためにデータエンジニアを増強するなど、火消し作業に追われるようになります。
しかし、データメッシュはデータソースとデータ利用者が多ければ多いほど、またデータをめぐるコラボレーションが進んでいるほど正しく機能します。データメッシュが機能することで、データからのビジネスインサイトが強化されていきます。
従来のやり方を捨て、新しいアーキテクチャを導入することは、フラストレーションになることもありますが、ビジネスや個人のキャリアを向上させるターニングポイントにもなります。データ管理のパラダイムシフトであるデータメッシュ。一度検討してみてはいかがでしょうか？
