大手製造小売業におけるデータ設計開発業務

【案件概要】

AWS を活用したデータ基盤（DWH／データレイク）の設計・構築・運用 Glue・Spark／PySpark・MWAA などを用いた ETL／データパイプラインの開発・改善 分析向けデータモデル（DWH スキーマ等）の設計および dbt を用いたモデル開発 データ処理の品質管理、パフォーマンス改善、運用フローの最適化 運用チームのタスク管理・トラブルシューティングなどのリーダー業務

【開発環境】

使用言語: Python, Shell Script, SQL データ処理: Spark / PySpark, dbt クラウド: AWS（S3, Glue, Athena, Kinesis, ECS, MWAA） パイプライン / ワークフロー: ETL パイプライン、Airflow（MWAA）

【必須スキル】

【募集要項・条件】

※50歳以下 ・中国語（ビジネスレベル） ・日本語（日常～ビジネスレベル） 　※日本の顧客・開発チームと円滑にコミュニケーションが取れるレベル ・Python/Shell ・Spark/PySparkに精通し、大規模データ処理ができる ・AWS のデータ関連サービスに精通していること（以下を含むが、これらに限らない） 　Sc　// Glue（Catalog / Job） // Athena // Kinesis // ECS // MWAA（Managed Airflow） ・ETLデータパイプラインの開発・実装を独立して行うことができる ・データモデル（ディメンション・ファクトテーブル・DWHアーキテクチャ等）の設計スキル ・Databricks の使用経験 ・dbt を理解し、モデルの設計・実装を自走できる方 ・日本向けオフショア案件の経験、もしくはグローバルチームでの協働に柔軟に対応できる方 ・データ可視化の経験（Tableau など） ・DevOps、CI/CD を用いたデータエンジニアリングプロセス構築経験 Authenticatorで二段階認証を必要としているため、Authenticatorアプリを入れていただける方。 　※万が一、諸事情によりご協力いただけない場合は、同等のセキュリティを担保いただけるかご説明いただく場合があります。