by Abhas Ricky, and Matt Wood
この記事は、2023/10/31に公開された「Build Modern Innovative Solutions on Cloudera Data Platform Using the Power of Generative AI with Amazon Bedrock」の翻訳です。
多くの企業は、AI を取り入れることは、競争が激化する市場で、存在感を維持するための戦略的な必須事項であると考えています。しかし、AI の取り組みに迅速に着手するための人材やリソースの確保には課題があり、必要となる機能をすぐに構築することはまだ難しい状況です。
Cloudera はこのほど、Amazon Web Services (AWS) と戦略的協業契約を締結しました。それによって、AWS 上でクラウドネイティブのデータ管理とデータ分析を加速・拡張することへのコミットメントを示しました。私たちのビジョンは、お客様が AI から得られる価値を最大化するために、AI の活用をより簡単に、より経済的に、より安全にすることです。今回のブログでは、Cloudera Data Platform と AWS 上の生成 AI について、当社のビジョンとお客様が利用可能な統合についてお話します。AWS の生成 AI は、Amazon Bedrock、Amazon SageMaker JumpStart、AWS Trainium、AWS Inferentia、Amazon CodeWhisperer、AWS HealthScribe、Amazon QuickSight の Generative BI などがあります。
Cloudera のビジョン：AWS 上の CDP で AI を構築する
AWS と連携した Cloudera の AI ビジョンは、お客様が Cloudera で管理している25エクサバイトのデータを活用し、特定の業界ごとで差別化された AI を構築できるようにすることです。当社のビジョンは、2つの柱の上に成り立っています。
- Clouderaを使いAI を構築 (ClouderaはAWS 上の生成 AI を活用)： Cloudera Machine Learning と AWS上の生成 AI間の機能と統合を構築することで、AI アプリケーションを迅速かつコスト効率よく構築できるようにします。
- Cloudera 内で AI を構築 (ClouderaはAWS 上の生成 AI を活用)： Cloudera Data Platform (CDP) に生成 AI 機能を組み込むことで、CDP を使用するデータ実務者が AI を活用した生産性の向上を実現できます。
それぞれの柱で、AWS と Cloudera の間に何が起きているのかを見ていきましょう。
Amazon Bedrock を利用した Cloudera で AI を構築する
当社は、フルマネージド型サーバーレスサービスである Amazon Bedrock の力を使って、Cloudera で生成 AI 機能を構築しています。お客様は、Cloudera で利用可能な新機能を使用して、生成 AI アプリケーションを迅速かつ容易に構築することができます。
Amazon Bedrock を使用して構築された CML テキスト要約 AMP
Amazon Bedrock の一般提供開始に伴い、Cloudera は Cloudera Machine Learning で構築された最新の応用 ML プロトタイプ (AMP) のリリースを進めています。この Amazon Bedrock で構築された CML テキスト要約 AMP で、Cloudera Public Cloud on AWS と Cloudera Private Cloud オンプレミスの両方で管理されているデータのテキスト要約のために、Amazon Bedrock で利用可能な基礎モデルを使用することができます。
LLM テキスト要約 AMP で、Amazon Bedrock で利用可能な基礎モデルを活用して、自動テキスト要約を実行する AI アプリケーションを迅速に構築し、デプロイする方法を紹介します。これにより、企業は長い文書や記事、コミュニケーションを簡潔でまとまりのある要約にまとめ、迅速な意思決定と生産性の向上を図ることができます。Amazon Bedrock と当社の AMP の機能を活用することで、企業はデータ分析プロセスを合理化し、重要な情報を抽出でき、競争力を高めることができます。
以下は、Amazon Bedrock を使用して構築された Cloudera のテキスト要約 AMP のハイレベルなアーキテクチャとプロセスフローです。
このAMPを構築するにあたり、Cloudera の研究開発チームはAmazon Bedrock を検討、選択
- Amazon Bedrock を利用することで、お客様は単一のAPIを介して対話することができ、業界をリードする幅広い基盤モデルから選択することができる
- フルマネージド型サービスであるため、インフラのセットアップや管理は一切不要で、すぐにアプリケーションの構築に取り掛かることができる
- 独自のラベル付きデータを使って Amazon Bedrock モデルを微調整し、特定の問題に対して正確にカスタマイズされたモデルを作成することができる
- Amazon Bedrock は AWS のセキュリティ機能と統合されており、ユーザーは使い慣れた方法を使えることから、新たな情報セキュリティレビューを回避することができ、大幅な時間の節約となる
- ユーザーは、使い慣れた AWS のツールと機能を使用して、信頼性が高く、安全で、スケーラブルな生成 AI アプリケーションをデプロイできる
このユースケースには、テキスト要約で実績があり、AI のベストプラクティスを使用している Amazon の Titan Text モデルを選択しました。
以下は、Cloudera の AMP が、公開された入力テキストに基づいてアプリケーションによって自動的に生成される、Amazon Bedrock API リクエストコードで動作している例です。この AMP は、オンプレミスで稼働している Cloudera システムでも、Amazon Bedrock API と直接統合されたパブリッククラウドでも、使用できます。
CML AWS Inferentia と AWS Trainium の統合計画
LLMテキスト要約 AMP は、Cloudera と AWS の生成 AI 製品の統合がもたらすメリットのほんの始まりに過ぎません。そして、Clouderaは、AWS Inferentia と AWS Trainium を利用した Amazon EC2 インスタンスの Cloudera Machine Learning (CML) サービス への統合に取り組んでいます。これにより、CML のお客様は、AIワークロード専用に構築された強力で効率的なアクセラレータを使用して、分離されたコンピュートセッションをスピンアップできるようになります。
AWS Trainiumを活用したAmazon EC2 インスタンスのサポートは、CML 内の機械学習モデルのトレーニングフェーズに効率化をもたらします。Amazon EC2Trn1インスタンスは、同等の Amazon EC2 インスタンスと比較して、トレーニングにかかる時間を短縮し、コストを最大50%削減できます。
また、AWS Inferentiaを利用することで、CML のお客様はカスタム設計された推論チップを活用することができ、セルフホスト型機械学習モデルの、より高速でコスト効率の高い推論が可能になります。Amazon EC2Inf2インスタンスは、同等の Amazon EC2 インスタンスと比較して、スループットが最大9倍高く、推論あたりのコストが最大80%低くなります。
お客様は、AWS Neuron SDK を使用して、Amazon EC2Trn1および Amazon EC2Inf2 インスタンスで、オンデマンドインスタンス、リザーブドインスタンス、スポットインスタンスとして、または節約プランの一部として、モデルをトレーニングおよびデプロイすることもできます。対象：米東部（バージニア州北部）、米西部（オレゴン州）、米東部（オハイオ州）。
Amazon Bedrock を搭載した Cloudera でAIを構築する
Cloudera のサービスやアプリケーションに生成 AI 機能を組み込むことで、お客様は簡単に対話し、より迅速な結果を得ることができます。
CDP の SQL コード AI アシスタント
データ実務者の生産性を向上させるために、CDP に生成 AI 機能を組み込むことは、大きな可能性を生み出します。
Amazon Bedrock を搭載した CDP の SQL コードAIアシスタントはすでに開発中です。この生成AIツールは、アナリストが自然言語ステートメントを使用して SQL クエリを生成および編集できるようにします。また、SQL クエリを最適化してより効率的に実行したり、SQL クエリが何をしているのかをシンプルな英語にしたり、実行できないクエリのエラーを自動的に見つけて修正したりすることもできます。この text-to-sql 生成機能には、Amazon Bedrock で利用可能なAnthropic の Claude v2 Foundation モデルを使用しています。
このツールは、アナリストの業務に革命をもたらします。コードを書く時間を減らし、より多くの時間をビジネス価値の創造に使えるようになるのです。
これは、CDP の SQL コードAIアシスタントのハイレベルアーキテクチャです。
店舗別の売上を分析したいので、HUE (標準SQLエディタUI) の生成ボタンをクリックします。そして、欲しいデータポイントを自然言語で書き、go をクリックします。
AI アシスタントは、必要な関連テーブルを見つけ、そのロジックの詳細な説明とともに SQL クエリを数秒で作成。あとは確認して、挿入をクリックし、実行するだけです。
次のステップ
今回の統合は、CDP と AWS のAI サービスを使って構築するもののスタート地点に過ぎません。当社の最新情報は、MyCloudera の What’s New の製品フィードにて紹介しておりますので、ご覧ください。Cloudera はお客様がAIから得られる価値が最大になるように、より簡単に、経済的に、そしてより安全に活用できることを、これまで以上に尽力していきます。
AWS 上の CDP で生成 AI を構築するためのリソース
詳細については、Cloudera Machine Learningページで、利用可能な生成 AI 機能をご覧ください。また、CDPパブリッククラウドの60日間トライアルに申し込むと、AWS上のCDPでソリューションを構築する方法を学べます。さらにAWSトレーニングリソース とAmazon Bedrockワークショップを使って、 AWS 上の生成 AI について学ぶこともできますので、ぜひご活用ください。
