FreelanceBox LogoFreelanceBox
T260123-0439
Go言語AirflowSparkTerraformSQLPythonJavaAWSGCP

インフラ・データエンジニア募集

単価
80-110万円
働き方
常駐/ハイブリッド
場所
東京
期間
長期

【案件概要】

AWS（データレイク）とGCP（DWH）を組み合わせたハイブリッドクラウド基盤を構築中です。この基盤をスケールさせ、俊敏なデータ活用を全社に浸透させるために、AWS Glue や BigQueryを活用したデータパイプライン開発を担当いただくデータエンジニアを募集します。・ データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テストの自動化

【開発環境】

AWS（データレイク）とGCP（DWH）を組み合わせたハイブリッドクラウド基盤。AWS Glue（Apache Spark）、S3、Lake Formation、BigQuery、Terraform、Airflowなどを活用。

【必須スキル】

【募集要項・条件】

必須スキル： ・ AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・ GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・ BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・ AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・ Terraform による IaC 実践（マルチクラウド or 複数環境） 尚可スキル： ・ BI ダッシュボード構築（Looker Studio 等） ・ Airflow / MWAA での複雑なジョブ管理 ・ データレイクハウス設計（Delta Lake / Iceberg / Hudi） ・ ストリーミング処理（Kinesis / Firehose / Pub/Sub） ・ Python / Go / Java でのツール開発