【募集背景】
大手銀行様においてデータレイクをパブリッククラウド上に構築しており、将来的にはグループ全体で活用する基盤として構想しています。蓄積された膨大なデータを活用して、デジタライゼーション推進の中心を担う仕組みとして、数年前から本格活用が始まっております。
【作業内容】
クラウド側(AWS)の技術者として、DataLakeポータル(統合認可管理システム)でDataBricksを利用している別システム(AIRIS)の認可を統合管理いたします。各種データソースを持つソースシステムから、Databricksに対するデータ連携(S3/ETL連携およびAWS Glue Data Catalog)を実現するためのアーキテクチャ、処理方式を検討・実現いたします。
【開発環境】
DataLakeポータル(統合認可管理システム)、Databricks、S3、ETL連携、AWS Glue Data Catalog