DatastageからDatabricksへのマイグレーション（パイロット検証）

【案件概要】

現行のETL基盤であるIBM Datastageを、Databricks（Lakehouse基盤）に移行する計画が進行しています。本案件では、そのパイロット検証に参画し、移行可否・移行方式・ツールの有効性を検証することが目的となります。マイグレーションツール自体は存在するものの、実際にDatastageジョブを正しく変換できるかは未検証の状態で、参画後に実際にツールを用いた検証、手動での移行トライ、比較検証などを行っていただく想定です。

【開発環境】

【必須スキル】

【募集要項・条件】

・ETL開発のご経験（Datastage等） ・Databricks（ノートブック、Workflow、Delta Lake）の利用経験 ・Spark / PySpark / SQLを用いたデータ処理経験 ・データパイプラインの設計・実装経験 ・新技術の検証や PoC に抵抗がないこと（手探りで進められる方） ・Datastageの実務経験 ・データレイク / DWH / ETL移行プロジェクトの経験 ・マイグレーションツールの検証・評価経験