モダンデータスタックとは

モダンデータスタック（Modern Data Stack）とは、データ領域のクラウドネイティブなサービス・ソフトウェア群のことで、Cloud Data Warehouseを中心として、これらが一体となって近年のビジネス環境に合うように設計・構成されたデータプラットフォームのトレンドを示すバズワードです。

今回は、モダンデータスタックというトレンドの概要について記載していますが、個別のテクノロジー領域におけるトレンドやポイントに関しても、こちらの記事に掲載していますので、もしよろしければご覧ください。

こちらは、Continual社が2022年4月に公開したモダンデータスタックのエコシステム図です。ここ5~10年ほどを目途にリリースされたクラウドベースのサービス・ソフトウェアを中心にラインナップされています。この中で、弊社でもFivetran、dbt、Google BQ、Lookerなどを採用して活用しています。

（出典：https://continual.ai/post/the-modern-data-stack-ecosystem-spring-2022-edition ）

こういったエコシステム図を見る際、気を付けたいのは「どのツールはモダンデータスタックに含まれている、含まれていない」と整理したり定義すること自体に重きをおくのではなく、ビジネスや企業の環境を踏まえたときに「データテクノロジーのトレンドがどのような傾向にあるか」「それはどんな効果やインパクトをもたらすのか」を理解することの方に、重きをおくことです。

ビジネス環境や社内組織・目指すデータ活用状態に応じて、その時、その企業に適したテクノロジーの選定・構成・活用方法は異なりますので、ぜひそういった視点も踏まえて中身を見ていきたいと思います。

モダンデータスタックに共通する重要な特徴

前述の通り、モダンデータスタックはあくまでバズワードですので、何か明確な基準や定義があるわけではありませんが、ある程度以下のような共通した特徴とメリットがあります。

マネージドサービス
全てのツールがCloud Serviceであることで、ソフトウェアのインストールやインフラメンテナンスなどの煩わしい業務から解放され、より本質的なデータ活用やビジネスへの直接的な貢献に注力できる環境を目指しています。データプラットフォームを構築して維持するためのチームは必要なくなり、同領域に携わるエンジニアの採用・育成に悩まされることもなくなります。
Cloud Data Warehouse（CDW）中心のプラットフォーム
特にデータマネジメントの中心となるCloud Data Warehouseの活用を前提としたシンプルな設計により、データの管理やインテグレーションの手間が最小限に抑えられ、データの活用に要する負荷が抑えられる環境を目指しています。
運用のしやすさを重視したサービス設計
開発やプロトタイピングが容易になるだけのサービスではなく、リリース後の「運用」がいかに容易に楽になるかを重視したサービスが中心となっています。例えば、ノーコード・ローコードでデータソースの追加・変更が容易にできる設計、本番環境⇔開発環境の移行の容易となる機能など、運用の中で起こるイベントにアジャイルに対応できることを念頭にしたサービスが中心となっています。
非エンジニアユーザーまでデータの民主化を志向
データアナリスト・データエンジニアに限ることなく、「ビジネスユーザー」を想定したサービスが多いことも特徴です。ビジネスユーザーは、企業のビジネスの特徴・状態を踏まえてデータに関する深い考察・分析が可能なため、SQLのように比較的ビジネスユーザーにもわかりやすい記述言語をベースとしたり、ノーコードUIを提供することで、より幅広いユーザーがデータを扱えるようなエコシステムを志向しています。
エラスティックコンピューティング
基本的な考え方は「使用した分だけ支払う」です。スケールアップ・スケールダウンも自動/簡易に実現できる設計が多く、実際に必要なリソース量に合わせたリソース量を割り当てられます。このエラスティック性によって、企業は使用していない容量やアイドル状態のリソースに費用を支払わずに済み、また、追加のリソースと設備の購入や保守への投資について思い悩む必要がなくなりました。

いずれの特徴も目指しているところは、「データ発生から組織内のデータワーカーにとって役立つ状態になるまでのリードタイムを短縮すること」「それらにかかる負荷・わずらわしさを減らすこと」で、データを容易に実用的な情報として活用することです。

モダンデータスタックを採用することで、企業はデータ活用に必要なセットアップや管理がより簡単になり、データ活用に必要な専門知識を極力必要としない低コストのプラットフォームを手に入れることができます。こういったメリットを踏まえると、多くの企業がこのトレンドに乗っている理由が非常によくわかります。

また、これらはエコシステム図にあったようなすべてのコンポーネントが必ずしも必要なわけではなく、企業の環境・状態を踏まえて必要ないくつかのコンポーネントとAirflow、Dagster、Prefect などのオーケストレーションサービスを併用して、最小限なシンプルなアーキテクチャを採用する企業が多いです。

モダンデータスタックについては、Fivetran社主催で、Modern Data Stack Conferenceなども開催されており、また、cliff.ai社がこちらのサイトで最新のエコシステムやトピックスについてキュレーションしており、非常に参考になります。

クラウドネイティブなデータテクノロジーはどのように変化してきたのか

かつては、オンプレミスのRDBMSや基幹システムなどのデータソースから、データ分析可能な環境にデータが届くまでに数日間～数週間かかるような時代もありましたが、これらのクラウドネイティブなテクノロジーにより数時間または数分でデータが活用可能な状態になりました。

昨今のモダンデータスタックの中心となっているCloud Data Warehouseが登場したのは、2010 年、Google のBigQueryで始まり、その後すぐにRedshiftとSnowflakeが続きました (2012 年)。

その後、すぐにCloud Data Warehouseに関連する周辺領域のクラウドネイティブなテクノロジーのエコシステムが出現し始めました。

BI ( Chartio - 2010、 Looker - 2011、Mode - 2012)
データ統合 ( Fivetran - 2012、Segment - 2013、Stitch - 2015)
データ変換 ( dbt - 2016、Dataform - 2018)
リバース ETL ( Census - 2018、Hightouch - 2018)

（出典：https://continual.ai/post/the-future-of-the-modern-data-stack ）

Cloud Data Warehouseは、それ自体ももちろん便利ですが、それ単体ではまだ昨今の圧倒的な利便性やコストメリットを生み出すほどの変革性をもたらしてはいませんでした。

ポイントとなったのは、Cloud Data Warehouseが登場した結果、そのプラットフォームを中心に生まれたクラウドネイティブなデータテクノロジーのエコシステムが出現したことでした。これらのクラウドネイティブなテクノロジーには、それまでのオンプレミス時代のテクノロジーと比較して、前章のような特徴・メリットがありました。

これらのテクノロジーの出現により、データをクラウドで活用することに関する様々な障壁が小さくなり、活用も大幅に範囲が広がり、結果的に、圧倒的な利便性・コストメリットをもたらしてくれる現在のModern Data Stackというトレンドに通じています。

オンプレミスの時代を含めると、Data Warehouseというアイデアが生まれてから約半世紀が経過しましたが、やっと企業の体力・規模に依存せず、あらゆる企業がデータ活用可能な環境を容易に手に入れることができ、データ分析で大手のハイテク企業と同じくらい競争力を持つことができる堅牢で簡単に利用できるプラットフォームになってきています。

モダンデータスタックのトレンド加速に向けた今後の課題について

１．エンタープライズ組織での普及（クラウド移行における負荷の軽減と実現性の向上）

これまでモダンデータスタックは、主に小規模な企業やクラウドに精通した新興企業によって急速に採用されてきました。彼らには、データプラットフォームを構築して維持するための大きなチームがなく、何十年にもわたる技術的負債やクラウドへの移行作業に悩まされることもないため、クラウドネイティブなデータテクノロジーを採用する際に、大きな障壁なく、シンプルにモダンデータスタックのメリットを享受できる環境にあったためです。

一方で、基幹システムを含むさまざまな業務データ、複雑なデータ関連組織やチーム、旧来のテクノロジーで構成された基盤を抱えるエンタープライズ企業の場合、クラウドネイティブなデータテクノロジーを採用する際には、これら既存のリソース１つ１つが移行の論点となっていきます。まだデータ環境や体制が整っていない企業の場合は「モダンデータスタックで●●を行うことができるか」が論点の中心となりますが、すでに環境や体制が確立された企業にとっては「●●をモダンデータスタックに移行するメリットは、移行の負荷・コストを上回るか」という論点が中心となります。

データ環境・チームが新しく、Cloud Data Warehouseにデータ連携するスクリプトを作成してデータ統合を行っている場合、Fivetran や Airbyte などのツールを採用することは簡単ですが、データ環境・チームが長年使用してきたデータ統合の暗黙的な運用プラクティスと仕組み・ツールを既に各所で運用している場合、移行時の課題調査から難易度の判断、移行手順や移行体制の構築、移行後のアーキテクチャ設計や体制整理、ROI評価やモニタリング・・・・と、検討するべき事項が非常に増えます。

そのため、モダンデータスタックのエコシステムにあるベンダーはもちろん、それらの導入・運用を支援するコンサルやインテグレーションベンダーは、これらクラウド移行に伴うさまざまな負荷の軽減や、実現性を評価し確実な移行を実現できる支援策をより積極的に行っていく必要があります。

２．ビジネスでデータを活用できる人材の育成・チームの再構成

特に日本市場で顕著な課題が、「データ人材の不足」「ビジネスユーザーの知識・スキルのギャップ」です。

前述のモダンデータスタックの特徴の１つとして「非エンジニア・ビジネスユーザーまでデータの民主化を志向していること」をあげました。これはその通りで、もちろんModern Data Stackが登場する以前の環境に比べると格段にデータ活用のハードルは低くなってきていますが、活用にあたっては、最低限のデータやテクノロジーに関する知識・スキルは必要になります。

これまで社内のデータエンジニアや外部のベンダーにデータ関連のタスクをまるっと委託していたビジネスユーザーの役割分掌やチーム体制から、改めて関係性や役割、それに伴う知識・スキルセットを見直し、旧来のビジネスユーザーから「データを活用してビジネスをドライブするユーザー」である状態を再定義して、人材を育成したり、チームを再構成していく必要があります。

この知識・スキルのギャップを埋めるべく、サービス側もHeadless BIのように、もう一歩さらにビジネスユーザー向けに踏み込んだサービスが徐々に開発・提供されはじめています。この問題には、サービス側・ユーザー側双方から、取り組んでいく必要があると思います。

なお弊社では、この「データを活用してビジネスをドライブするスキルセットをもつ人材」を"ビジネストランスレーター"と定義し、個社ごとに異なる環境に応じた必要な能力・知識・スキルセットの評価支援サービスを提供しています。また、弊社のメンバー自体がビジネスに深く伴走させていただき、ビジネストランスレーターとしてデータを活用して事業のPDCAを一緒に回しながら、最終的なインハウス化を目指す「BPaaS（Business Prosess As a Service）」サービスも提供しています。もしご興味がある方はぜひご連絡ください。

さいごに

今回はこのモダンデータスタックというトレンドの概要について記載しましたが、いかがだったでしょうか？あくまでバズワードですので、確定的な見解があるものではありませんが、一つの見方や側面として、少しでもお役に立てれば幸いです。

また、個別のテクノロジー領域におけるトレンドやポイントに関しても、こちらの記事に掲載していますので、もしよろしければご覧ください。