リモート可
【Kubernetes/Databricks/AWS/リモート併用】オンプレログのDatabricks蓄積基盤構築
雇用形態
業務委託(フリーランス)
業務内容
【募集背景】
システム基盤ログのセキュリティ分析・監視を、Splunkに加えてDatabricksでも実施できるようにするための基盤整備です。
【作業内容】
オンプレミスのKubernetesログをDatabricksのbronzeテーブルへ収集・格納する基盤を設計・構築します。アーキテクチャ検討、基盤パラメータ設計、基盤構築、テスト、運用設計、各種ドキュメント作成を担当します。オンプレミスサーバからのデータ送信基盤の提案も行います。
【求める人物像】
顧客要望をもとにインフラ担当者と基盤構築要件を整理し、関係者と協力して設計・構築を推進できる方を求めています。
【ポジションの魅力】
大容量ログデータの転送基盤およびDatabricks on AWSを活用したセキュリティ分析基盤の整備に携われます。
【開発環境】
Databricks on AWS、Kubernetes、Linux、Fluentd、Kafka、syslogを使用します。
スキルタグ
求めるスキル
- ■必須スキル：
- Linuxサーバの構築経験があること, 「dbt」「Snowflake」「Fivetran」「Tableau」等の知見, 基本的なネットワーク知識があること（TCP/IP、ルーティングなど）, syslog、fluentd、kafka、kubernetesに対する基本的な技術理解があること, 顧客要望を受けて、顧客インフラ担当者と具体的な基盤構築要件を詰められること, 基盤設計書やパラメータシート、運用手順書等のドキュメントを作成できること
- ■歓迎スキル：
- syslog、Fluentd、Kafkaに類するシステムログ転送処理の機能設計・開発に関する経験があること, 非機能要件を考慮した基盤設計の知見があること（2TB/日のデータ転送に耐えうる性能設計および耐障害設計）, AWSのネットワーク知見（AWS Direct Connect、AWS Transit Gateway、AWS VPCなど）, Databricks on AWSに関する知見