by Venkat Rajaji
この記事は、2024/10/23に公開された「Cloudera and Snowflake Partner to Deliver the Most Comprehensive Open Data Lakehouse」の翻訳です。
先日「データの縄張り争いの終焉とメタデータの縄張り争いの始まり」というブログ記事を書きました。分散型データアーキテクチャが不可避となる未来において、運用およびビジネスメタデータを統合し管理することは、データ、分析、 AI の価値を最大限に引き出すために極めて重要です。データ管理における最も重要なイノベーションの1つは、オープンテーブルフォーマット、特に Apache Iceberg です。これは、データチームがデータレイク内の運用メタデータを管理する方法を根本的に変えるものです。運用メタデータをテーブル自体に維持することで、Iceberg テーブルは多くの異なるシステムやエンジンとの相互運用性を実現します。
Iceberg REST カタログ仕様は、Iceberg テーブルをさまざまなツールや実行エンジンで利用可能にし、検索可能にするための重要な要素です。API 経由でIceberg テーブルのメタデータとの統合や相互運用を容易にし、また、メタデータ管理を基盤となるストレージから切り離します。分散型マルチエンジンアーキテクチャのデータに統一されたアクセスを提供するための重要な機能です。
だからこそ、Cloudera は REST カタログのサポートを追加しました。オープンなメタデータをお客様の優先事項とし、データチームが、データの取り込み、レポート作成、データエンジニアリング、AI モデルの構築、トレーニング、デプロイなど、それぞれのワークロードに最適なツールを最大限に活用できるようにするためです。
Snowflake と Cloudera:より良い組み合わせ
オープンデータとエンジンの自由という精神に基づき、Cloudera は Snowflake と提携し、最も包括的なオープンデータレイクハウスと、それがもたらす自由をすべてのお客様に提供いたします。
Snowflake は、その使いやすさ、セルフサービス機能、実行エンジンのパフォーマンスにより、データ共有、ビジネスインテリジェンス (BI)、レポーティング、ダッシュボード作成のための最も人気の高いプラットフォームの1つとなっています。Snowflake は、相互運用性、データ管理、データガバナンスの観点でお客様にもたらす価値を理解し、Iceberg プロジェクトに大きく貢献しています。
Cloudera を活用して Iceberg テーブルを構築および管理することで、Snowflakeのお客様は、データを他のシステムに移動またはコピーすることなく、BIユーザーに対してデータの単一かつ一貫性のある正確なビューを提供することができます。また、Cloudera の真のハイブリッドアーキテクチャを活用し、Apache Ozone を活用することで、オンプレミスのデータソースへの容易なアクセスも提供できます。
また、ストリーミング、高度な分析、AI/ML など、その他の分析作業負荷用のCloudera またはサードパーティのエンジンに、データの単一ビューを活用することもできます。
Snowflake のエンジンにより、Cloudera のお客様は、BI やインタラクティブなダッシュボード用のデータに、複数のパブリッククラウドやオンプレミスなど、データの保存場所に関係なく、簡単にセルフサービスでアクセスできます。
Cloudera + Snowflakeのメリット
Cloudera と Snowflake のパートナーシップにより、両社のお客様は次のようなメリットを得ることができます。
- 総所有コストの削減:エンジンの自由とインフラストラクチャの自由を保証しながら、データコピーとデータ移動を削減することで、分析スタックの維持に必要なストレージ、コンピューティング、運用コストを削減できます。
- 目的に最適なツールを選択:データをオープンフォーマットで保持することで、ワークロードごとにコストとパフォーマンスの最適なバランスを提供する環境とツールを選択することができます。複数のパブリックおよびプライベートクラウド、およびオンプレミスのデータストアにアクセスでき、Icebergテーブルに読み書きできる任意のエンジンを使用することができます。
- 真のハイブリッド:高額で複雑な移行を実施しなくとも、オンプレミスおよびあらゆるクラウド上のデータストアにフルアクセスできます。そして、各ワークロードに最適なインフラストラクチャを自由に選択できます。Cloudera Shared Data Experience (SDX) により、お客様は、データがクラウド間で移動する場合でも、すべての環境で一貫したセキュリティおよびガバナンスポリシーを適用できます。
今すぐ Cloudera と Snowflake の組み合わせをお試しください
Cloudera と Snowflake は、最も包括的なハイブリッド型オープンデータレイクハウスを提供します。これにより、ビジネスユーザーに実行可能なインテリジェンスを提供するセルフサービス BI から、ビジネスプロセスを変革し、差別化された顧客体験を実現する AI まで、あらゆる分析ユースケースに自信を持って対応できます。
両プラットフォームは、現在無料でトライアルができます。Cloudera のオープンデータレイクハウスをAWS上で5日間無料で試すには、こちらをクリックしてください。また、Snowflakeの30日間無料トライアルはこちらです。