公共向け システム基盤更改
【案件概要】
DWH や BI のインフラと共通処理ETLジョブ実装 ・CDK開発環境構築 - インフラ(CDK実装) ・インフラ(構築・試験) ・共通加工(コード・CDK実装) ・共通加工(構築・試験) ユーザー定義帳票と汎用分析帳票の詳細設計と実装 ・帳票設計 ・加工処理作成 ・帳票作成 ・試験 単体試験の実施と品質成績書の作成 インフラ ・CDKを各自で実行。S3、Glue、Redshift、QuickSight等が対象。 ・そこでデプロイができることと、以下の観点でのチェックは行う。全てのパラメータが正しくできていることは確認しない。 - ループ処理 - 条件分岐 - プロパティの override - 特に保証したい定義 - props を使った値の指定(参考) アプリケーション ・Glue:ジョブ1個の処理の網羅性は確認する。ホワイトボックスなので、全部の分岐を通るように実施。 ・Lambda系:SPICE更新できるとか、QSのユーザー追加とかできるかは確認する。 ・Step Functions:全部つながったステートマシンができることは確認するけど、実行して動くかは確認しない。これは結合試験。 ・QuickSight:共有フォルダがちゃんとできてるかくらいか。権限周りはOkta連携まだできてないからできない。 ・ユーザー定義帳票や汎用分析 - QuickSightのダッシュボード系:表示がエラーなくされるかを確認。ダミーデータ利用。 - Glue:上記と同じ。 - RedshiftのSQL:正しくテーブルができること確認。
【開発環境】
AWS環境 (S3, Glue, Redshift, QuickSight, Lambda系, Step Functions) / CDK開発環境
【必須スキル】
【募集要項・条件】
RedshiftやGlue、QuickSightなどのインフラ準備(IaCコードの作成するイメージ) DWH内のスキーマやテーブル準備 Glueジョブ開発(PySpark。Pythonができれば、検索しながら対応可能) QuickSightでのダッシュボード開発(プログラミングはせず、GUIで作成)