Apache NiFi で、S3ファイルの更新を検知。更新ファイルをAurora PostgreSQLにInsert

Apache NiFi で、S3ファイルの更新を検知。更新ファイルをAurora PostgreSQLにInsert

Cloudera テクニカルシリーズ

目的

Apache NiFi で、S3ファイルの更新を検知して、更新されたファイルをAurora PostgreSQLにInsert

完成状態のデータフロー

手順

1) JSON をダウンロード
JSONファイル: Import_S3_To_Aurora_PostgreSQL.json

2) 新しいプロセッサーグループを作成。作成時、保存したJSONをアップロード

作成:

これでImport完了:

3.) JDBCドライバーを入れる

wget https://jdbc.postgresql.org/download/postgresql-42.7.3.jar
mkdir /tmp/nifi
mv postgresql-42.7.3.jar /tmp/nifi/

4) パラメータ設定

4.1) ListS3 のパラメータ設定

S3のAccess Key設定:

入力した値は保護されているため、表示されない。
「Sensitive Value set」のみ表示。

4.2) AWSキーを保存しているAWSCredentialsProviderControllerServiceを起動

4.3) CSVReaderを起動

4.4) JDBC Connection pool(DBCPConnectionPool-postgreSQL)を起動

5.1) S3ファイルを保存しているBucket、Prefixを編集

5.2) INSERTしたいPostgreSQLのテーブル名を編集
PutDatabaseRecordプロセッサーの設定:

6) 起動

7) 履歴を確認

Zhen Zeng
SE Manager
この著者の他の記事

コメントする

あなたのメールアドレスは公開されません。また、コメントにリンクを貼ることはできません。