【Python/dbt/フルリモート】Youtubeデータ取得バッチ基盤リファクタリングおよびdbt移行業務

業務委託(フリーランス)

【募集背景】 ライブ配信事業におけるYoutubeデータ取得基盤のリファクタリングおよびdbt移行を推進するための増員となります。 【作業内容】 ・StepFunctionsベースの既存バッチをk8sコンテナベース構成へ移行いたします。 ・バッチシステムからdbt部分を分離いたします。 ・既存バッチの処理フローを整理し、運用負荷軽減と可読性向上を図ります。 ・Youtubeの既存バッチの保守作業を行います。 ・新バッチの設計および開発を行います。 【求める人物像】 ・既存システムの構造を理解しながら主体的に改善提案ができる方を求めております。 ・バッチ処理やデータ基盤に関する知見を活かし、周囲と連携しながら業務を進められる方を求めております。 【ポジションの魅力】 ・ライブ配信事業におけるデータ基盤の中核部分の改善に携わることができます。 ・k8sコンテナベース構成やdbtなどモダンなデータ基盤技術に関わる経験を積むことができます。 【開発環境】 ・Python ・dbt ・AWS ・k8sコンテナ基盤 ・GitHub