SNSデータ収集・BigQuery格納パイプライン開発（週2〜3日）

【案件概要】

SNS上の投稿データをAPI経由で取得し、分析用基盤（BigQuery）へ蓄積するデータパイプラインの実装を担当いただきます。 ・各SNS（X、Instagram、TikTok等）のAPIを利用したデータ取得処理の実装 ・APIのレートリミットを考慮した効率的なデータ抽出フローの設計・構築 ・取得したRawデータを整形し、BigQueryへロードする処理の実装 ※格納後のSQL分析やBIツール化は別担当が行うため、本件では「データの流し込み」に集中いただけます。

【開発環境】

言語： Python (FastAPI / pandas 等) または Node.js DWH： BigQuery インフラ： Google Cloud (Cloud Functions / Cloud Run / Workflows 等) 管理： GitHub / Docker

【必須スキル】

【募集要項・条件】

・Python または Node.js を用いたバックエンド開発経験（3年以上） ・外部API（SNS系APIなど）との連携実装の実務経験 ・BigQueryへのデータ格納（ロード）に関する知識・経験 ・日本語でのスムーズなコミュニケーション能力 ・SNS API（X API / Graph API等）の利用経験 ・サーバーレス環境（Cloud Functions 等）でのバッチ処理実装経験 ・データパイプライン（ETL）の設計経験