大手メーカー向け　データ利活用支援（・データ加工・編集プログラム開発）

【案件概要】

Python(実行はRedshift)からSparkSQLへの移行案件。SparkSQLの移行実装は終えているが、不具合が発生しているためその修正及び試験を実施する。具体的には、10月～11月に性能改善に伴いPython(Redshift)からSparkSQLでの実装に移行（共にAWSGlueにて実装）したが、既存Pythonジョブからの不具合が試験時に検出された。12月～1月にかけて、既存Pythonジョブからの不良をSparkSQLにて修正実施する。

【開発環境】

Python, Redshift, SparkSQL, AWS Glue, AWS (S3, IAMロール)

【必須スキル】

【募集要項・条件】

必須: ・SQLの実装経験あり（サブクエリ、外部結合を利用したクエリを１から構築できる程度） ・Pythonを解析できる（Python(実行はRedshift)からSparkSQLへの移行案件のためPythonコードを読み取りSQL化できる） ・Glueの知識が必要（ETL処理をGlueにて実現する。GlueをGUIでジョブ作成ができる） ・コミュニケーション（短期間での実装及び試験となるため、円滑なコミュニケーションが取れる） ・AWS基本知識（S3やIAMロールなどAWSの基本的な操作や概念を理解している） 希望: ・Redshift、SparkSQLの知識（特殊なSQLではないが、Redshift⇔SparkSQLに仕様の差があるため両方またはいずれかの知識があった方が不具合時等の解析が効率的になるケースがある）