by Robert Hryniewicz, Peter Ableda, Zoram Thanga, Shubho Sinha, and Priyank Patel
この記事は、2024/6/3 に公開された「Cloudera Introduces AI Inference Service With NVIDIA NIM 」の翻訳です。
Cloudera はこの度、Cloudera AI Inference サービスの技術プレビューを発表いたしました。これは、生成 AI 向け NVIDIA AI Enterprise ソフトウェアプラットフォームの一部であるNVIDIA NIM 推論マイクロサービスを含む、フルスタックの NVIDIA アクセラレーテッド・コンピューティング・プラットフォームを搭載しています。Cloudera AI Inference サービスは、大規模な AI モデルのデプロイメントと管理を独自に合理化し、プライバシーとセキュリティの厳格な基準を維持しながら、高いパフォーマンスと効率性を実現します。
このサービスは、当社が最近立ち上げた AI Registry とシームレスに統合されます。AI Registryは、機械学習モデルをライフサイクルを通じて保存、整理、追跡するための中心的なハブです。
Cloudera AI Registry：モデルの一元管理
AI Registryと高度な推論機能を組み合わせることで、Cloudera は最新の MLOps 向けの包括的なソリューションを提供し、企業がパブリック クラウドとプライベート クラウド全体であらゆる規模のモデルを効率的に管理、統制、デプロイできるようにします。
新しい AI Inferenceサービスでは、NVIDIA Tensor Core GPU を搭載した高速なモデルサービングを提供できるため、企業はかつてないスピードと効率で AI アプリケーションを展開し、拡張することが可能になります。さらに、NVIDIA NeMo プラットフォームと、LLama3 や Mistral モデルのようなオープンソース LLMの 最適化されたバージョンを活用することで、企業は自然言語処理、コンピュータビジョン、その他の AI 領域における最新の進歩を利用することができます。
Cloudera AI Inference：スケーラブルでセキュアなモデルサービング
Cloudera AI Inferenceサービスの主な特徴：
- ハイブリッドクラウドのサポート：特定のニーズや要件に応じて、オンプレミスまたはクラウドでワークロードを実行できるため、複雑なデータアーキテクチャや規制上の制約がある企業に適している
- Platform-as-a-Service (PaaS) プライバシー：企業は、自社の仮想プライベートクラウド (VPC) 内に直接モデルをデプロイできる柔軟性を持ち、保護と制御のレイヤーを追加できる
- リアルタイムの監視：モデルのパフォーマンスに関する洞察を得ることで、問題の迅速な特定と解決が可能になる
- パフォーマンスの最適化：CPU ベースの推論では、最大3.7倍、NVIDIA GPU ベースの推論では、最大36倍のスループット向上
- スケーラビリティと高可用性：Scale-to-zero の自動スケーリングと HA サポートにより、何百ものプロダクションモデルをサポートし、効率的なリソース管理と高負荷時の最適なパフォーマンスを保証する
- 高度な配備パターン：A/Bテストとカナリア・ロールアウト/ロールバックは、新しいモデルのバージョンを徐々に展開し、その影響を管理しながら測定することで、リスクを最小限に抑え、スムーズな移行を実現する
- エンタープライズグレードのセキュリティ：サービスアカウント、アクセスコントロール、リネージ、および監査機能は、モデルとデータアクセスを厳重に管理し、機密情報のセキュリティを確保する
Cloudera AI Inference サービスの技術プレビューでは、これらの強力なエンタープライズ AI モデルサービングおよび MLOps 機能に、いち早くアクセスできます。Cloudera のデータ管理に関する専門知識と最先端の NVIDIA テクノロジーを組み合わせることで、このサービスは、企業がデータの潜在能力を引き出し、生成AIを通じて有意義な成果を推進することを可能にします。包括的な機能セット、堅牢なパフォーマンス、プライバシーとセキュリティへのコミットメントを備えた AI Inference サービスは、本番環境であらゆる規模の AI モデルのメリットを活用したい企業に欠かせないものになります。
Cloudera と NVIDIA の提携について、また、NVIDIA マイクロサービスで生成 AI の機能を拡張する方法については、プレスリリースをぜひお読みください。
