by Shayde Christian
この記事は、2023/04/24に公開された「Gaining Control of Your CDP Environment」の翻訳です。
避けたいこと
プラットフォームの不安定さ、ダウンタイム、ハードウェア障害、パフォーマンスの低下、クラスタリソースの競合、プロセス障害の繰り返し、ライブクエリの暴走、重要なサービスからのアラーム、アラームの不可視性……、避けるべきことをあげたらきりがありません。このような課題を改善する方法はあるのでしょうか？
実現したいこと
CDO スポットライトのシリーズでは、Cloudera Data platform (CDP) 環境の健全性をコントロールする方法について取り上げています。Cloudera Data Platform (CDP) は、優れた性能をすぐに使えるという特徴があります。しかし時間が経つにつれて、データアーキテクチャ、データエンジニアリング、DevOpsのベストプラクティスが維持されないと、無秩序な状態となりそれが問題へとつながります。さらなるダメージを軽減するためにも、「法と秩序」が必要なタイミングなのではないでしょうか？
そこで、CDP の環境健全性に悪影響を与える多くの問題を診断し、解決するために、単なるケーススタディではなく、複数の構成やクライアントサイトから収集したベストプラクティスを包括的で理解しやすい一連の手順に織り込みました。
今回のブログシリーズでは、一般的な健全性の実現と根本的な解決方法を取り上げます。可能な限り、ステップバイステップの手順へのリンクも含めるようにしています。そして、シリーズの最後には、環境の健康状態を監視・管理するためのツール「環境健全性スコアカード」もご紹介します。
環境のパフォーマンスが低下する理由はたくさんあります。その解決には、時間と労力がかかる場合が多いのも確かです。ただし、簡単に取り入れ成果を上げることができる取り組みもあります。皆さんがインパクトのある早期解決策を見つけて、健全性を手に入れるきっかけになることを期待しています。さらなる効果を期待されるお客様には、半年という短期間で組織の健全性スコアを2倍以上にした実績のある、Clouderaプロフェッショナルサービスチームと提携することもご検討いただけます。
CDP環境健全性のカテゴリー
このシリーズでは、環境衛生の側面を5つに分類しています。
可視性と透明性
クラスタ、プラットフォーム、サービス、プロセス。問題をきちんと把握できていなければ、大きな進展は望めません。それがオブザーバビリティ (可観測性) です。このブログでは、可視化、アラームノイズの抑制、重要な機会につながる根本要因の発見と分析、インシデント発生時の積極的なユーザーへの通知方法についての手順とツールの情報をご提供しています。
データ資産の標準化
共通のデータセット、パイプライン、プロセス、およびレポートの標準化。確かに、データ資産の標準化には数年かかる取り組みが必要です。しかし、最も問題があり、資源を大量に消費するプロセスや資産に絞って対処すれば、他のどのカテゴリーよりも環境衛生を改善することができるかもしれません。そのような機会を見つけ、活用する方法について、ベストプラクティスを共有します。
プラットフォームの健全性
ハードウェアやサービスの設定や構成などをご紹介。Cloudera Data Platform (CDP) が高いパフォーマンスで機能するためには、適切に設定する必要があります。さらに、ビジネスのニーズが変化すれば、プラットフォームの使い方も変化し、再チューニングが必要になります。その過程で役立つように、よくある症状を出します。そして根本的な原因分析のステップにつなげ、適切な設定のガイドラインを提供し、環境を適切に調整するための手順を説明します。
最適なツール
Impala、CDSW、Airflow、Nifi、CM の正しい使い方をご紹介。CDSW を ETL パイプラインツールとして使用したり、Impalaを使用して、膨大な結合数を伴う扱いにくいクエリを書いたりすると、環境に悪影響を及ぼすことに驚くかもしれません。実は、私たちもこの失敗を経験しています。認めることが重要です。本シリーズでは、複雑なデータパイプラインを管理するために、ワークフローを小さな独立したタスクに分割する機能を持つ Airflow を使用する利点に焦点を当てます。また、その他の「やるべきこと」と「やってはいけないこと」を取り上げていきます。
環境衛生スコアリング
ダッシュボードとログへの接続方法を説明し、環境衛生の測定、スコアリング、監視、コントロールの方法をご紹介し、まとめとします。
健全性が欠けている場合は、治療が必要です。早めに処置に取り掛かりましょう！
CDOスポットライトシリーズ
