by Dániel Omaisz-Takács
この記事は、2022/10/18 に公開された「Cloudera Uses CDP to Reduce IT Cloud Spend by $12 Million」の翻訳です。
Cloudera では、お客様と同様、日々の分析や業務上の洞察を管理するために Cloudera Data Platform (CDP) を利用しています。私たちのビジネスの多くの要素は、この最新のデータアーキテクチャの中にあり、すべての Cloudera 社員 (Clouderans) が、ビジネスにとって重要となる質問をし、その答えを引き出す能力を提供しています。Cloudera では、データの信頼性を高めることを目標に、システムの改善を継続的に行っています。信頼できる確実なデータとは、より良い質問を引き出し、より正確で予測可能な成果をもたらすことを意味します。
2021年のパブリッククラウドへの世界的な支出は、3,850億ドルに達しました。増え続けるパブリッククラウドインフラの費用を意識する必要があるというのは、 Cloudera 以外も多くが指摘していることです。CDP Public Cloud と CDP Private Cloud のための Cloudera 社内での研究開発インフラの多くは、大手クラウドプロバイダー3社のコンピュートとストレージで動いており、2020年初頭にはコストが年間2,500万ドルを超える勢いでした。この2,500万ドルという数字は、世界的なパンデミックの影響の評価を始めた時に目にとまり、結果として無駄を省き、経費を削減するきっかけとなりました。当社の CEO が高い関心を持ち、年末までにこの数字を半分に削減するように社員に指示し、毎週、進捗状況と全体的な軌道を報告することが求められるようになったのです。
2021年に行われた企業を対象とした調査では、82%がクラウドコストに必要以上の支出をしており、86%がクラウドコストの全体像を簡単に把握することができていないことがわかりました。実は、Cloudera もまさにその状態だったのです。最初の解決策として実施したのは、複雑なスプレッドシートとクラウド費用向けのSaaS 管理ツールの組み合わせに投資することでした。管理ツール自体は安価ではないものの、クラウド全体の支出を迅速に把握することができるものでした。しかし、私たちのニーズは SaaS ベンダーが提供する機能よりも複雑であることがすぐに明らかになり、CDP Data Warehouse を、自らのクラウド利用における問題解決に活用することにしたのです。
「Project CloudCost」の設計
Cloudera は、社内の分析の多くを CDP Private Cloud Base で行っています。そこで、自動化、モニター、およびガバナンスソリューションのプロトタイプである「Project CloudCost」を立ち上げた時に、作成場所として CDP Private Cloud Base が選択されました。
目標は、すべてのクラウド支出について、統一された信頼できる唯一のソースを提供することでした。これは、クラウドのコスト意識をさまざまなペルソナ（経営幹部から現場のエンジニアまで）に対して対応させるワンストップソリューションとして構想されました。
Project CloudCost の最初のイテレーションでは、SaaS ベンダーから直接データを取り込んでいましたが、後に3つのクラウドベンダーのパブリック API から利用データを取り込むように移行しました。結果、より速く、より確実に、より詳細にデータを取り込むことができ、かつライセンス代を節約することができました。このソリューションは Cloudera Data Science Workbench（CDSW）でプロトタイプ化され、Python と PySpark を使って構築され、Cloudera Data Engineering を使ってスケジュールされます。これにより、データは直接 Data Warehouse に取り込まれ、HDFS 上の Hive/Impala のテーブルに Parquet として保存されます。また、人事／財務システムからデータを取り込み、組織の階層構造を把握することで、コスト配分ができるようになりました。これらのデータが一通り揃うと、コストモデルを構築することができるようになったのです。使用量の特定項目のコストは、次に起因する可能性があります。
- クラウドアカウント（約200のクラウドアカウントがあり、ほとんどがコストセンターに割り当てられているが、一部プールされているものもある）
- 組織単位、つまりコストセンターにマッピングすることができるオブジェクト所有者
- タグ：全社的にタグ付けを実施し、必要に応じてコストの再割り当てを行うことができるようになった
- 無駄の特定：特別なダッシュボードによって、消費のパターンを追跡し、実用的なインテリジェンスを提供する。これによって、所有者が対話を開始したり、適切なチームに直接連絡を取り変更を加えたり、無駄をなくしたりできる
また、SaaS 製品にない機能として、すでにタグ付けされているインスタンスデータと紐付けることで、ネットワーク料金などの間接コストを特定することができました。
この設計の最大の強みは、オンプレミスやパブリッククラウドのプロバイダーをさらに採用することになった場合でも、簡単に追加でき、しかも責任者に360度の統合ビューを提供できることです。
分析
ビジネスの洞察とコスト削減を達成するための鍵は、分析を活用できるユーザーの手に委ねることです。当社の場合、これに該当するのは、主にエンジニアリングマネージャーでした。そのために、CDP Private Cloud と CDP Public Cloud の両方で稼働する Cloudera Data Visualization (CDV)を導入しました。CDV を使うことで、Impala のデータウェアハウス上に直接、洞察に満ちたインタラクティブなダッシュボードを、非常に迅速に構築することができます。
CDV のダッシュボードでは、1日ごとの支出額、移動平均のトレンド、さらに前月比と月末比の予測ビューを確認できるようになりました。この可視化により、ランレートの正確な評価と報告、月末の予測が一目でわかるようになり、CEO への報告の質も向上しました。
支出を視覚的表現で提供できるようになると、無駄がどこから来ているかについての洞察の生成を求められるようになりました。そこで、週末はシャットダウンするなど、改善すべき点をダッシュボードですぐに確認することができるようにしました。
また、平日と週末の支出比率を分析することで、無駄を省けるエリアや部門を迅速に特定できます。さらに、インスタンスのスポット利用やアイドル状態、オーバープロビジョニングのインスタンスが解消されていないなど、無駄を特定するレポートも作成できるようにしました。
クラウドの支出を正しく把握するための基本的な要件の1つは、リソースに適切なタグ付けを行うことです。当然のことながら、これを実際にサポートしてくれるクラウドベンダーは多くありません。Cloudera のソリューションは、タグに基づくコスト配分を業務的に理解するだけでなく、テクニカルマネージャーがアカウントの概要を把握できるようにすることで、タグ付け作業を推進することができます。
最後に、エンジニアリングマネージャーに週次でレポートを送信し、支出額や軌跡を示し、改善または無駄の削減が必要な領域をハイライトすることができます。これは、マネージャーが月末に確認するだけではなく、積極的にコスト管理を行うために非常に重要なことです。CDV は、高度なルールやしきい値ベースのメール送信をサポートしており、当社の技術担当者の中には、利益を生み出す部門に対してパーソナライズされたアラートを設定するために活用している人もいます。
成果
一連の作業により、コスト削減と状況把握の向上という2つの大きな成果が得られました。
まず、データをマネージャーの手に渡すことで、非常に早く、大きなコスト削減効果を生み出すことができました。それは、個々のマネージャーであれば、コストの問題を簡単に特定できるからです。当社の Amazon AWS のクラウド環境では、例えば、使われていない AWS RDS インスタンス、長い間忘れられていた S3 バケット、特定のデモ用にプロビジョニングされ、そのままデータの送信料だけ積み重なっていた未取得の概念実証クラスターが含まれていました。結果として、全体の前月比ランレートは、2021年中に月約200万ドルから月100万ドル未満にまで下がりました。この削減により、資金の割り当ての優先順位を見直し、実際に必要とされる分野へ資金を動かすことができました。例えば、回帰テストのフレームワークをクラウド化することで、より多くの Support Matrixに対してテストを実施することが可能になります。
第2に、誰もがアクセスできる信頼できる唯一のソースを作成することで、すでにあるものをゼロから作り直すことがないようにしました。CDV によって、経営陣から現場のエンジニアまで、誰もが簡単にデータを利用できるようになったため、共有ツールを皆が使うようになり、個々にツールを作成する無駄を削減したのです。
次のステップ
クラウドプロバイダーの API に直接接続することで、より定期的にデータを取り込み、実際に AWS CloudTrail などのソースからイベントを取得します。そして、Apache Flink搭載の Cloudera Streaming Analytics などのポートフォリオのツールを使って、インフライト分析およびアラートを実行することができるようになりました。今後も無駄を特定するレポートを作成し、マネージャーや予算担当者が実用的な洞察を作成し、支出に対する説明責任を果たすことが容易にできるようにしていきます。
さらに、Project CloudCost を拡張し、他のコスト削減手段の検討、行動指針となるデータの提供、クラウドコストを推進するエンジニアへのより詳細な指導とフィードバックに取り組んでいます。
クラウドコストの技術的所有者がより効率的に仕事ができるように、積極的にニーズを聞き出し、実行しています。
次の大きなステップは、1時間ごとやマシンレベルまで細かくデータを取り込み、クラウドのコストをより深く理解するという、次の時代を切り開いていくことです。現状をさらに理解することで、支出を管理し、日々のコストを削減するためのより良い判断ができるようになります。これができれば、最も重要なところにリソースを投入することができます。
まとめ
Clouderaのプロフェッショナルサービスチームは、Cloudera Data Warehouse、Cloudera Data Engineering、Cloudera Data Visualization をベースにしたツール、Project CloudCost を構築しました。Project CloudCost のおかげで、パブリッククラウドへの支出を積極的に監視、管理し、年間2,500万ドルから1,200万ドルの削減を達成しました。また、年間 40 万ドルを費やしていたクラウド支出 SaaS 製品を廃止することもできました。Cloudera Data Platform によって、ユーザーが分析できるようになり、これまで非常に複雑だったデータをユーザーが主体的に扱えるようになったのです。
Cloudera プロフェッショナルサービスによって Project CloudCost のようなカスタマイズされたユースケースをどのように実現するのか、ご興味がある方は、ぜひお問合せください。
最後に、この2年間、Project CloudCost に貢献された以下の方々に感謝します。Tristan Stevens、Richa Ranjan、Firas Khorchani、Dániel Omaisz-Takács、Juno Schaser、Sushil Thomas。マネジメントスポンサーのSteve Dean、Wendy Turner、Jim Burtt。
