【ETL/PySpark/フルリモート】受発注管理システム更改
- ■必須スキル:
- ・AWS Glue(VisualETL)の経験 ・PySparkの経験 ・RDBMSの利用経験
- ■歓迎スキル:
- ・Python ・SQL ・Amazon Redshift ・Amazon S3 ・Power BIの知見
377件中 361〜377件を表示
・需要予測システムから出力されたデータを抽出・変換し、DWHからデータマートに登録するETL設計・開発業務を行います。 ・一度Python Shellで実装されたETLが性能要件を満たさず、VisualETLおよびPySparkでの再構築を実施予定です。 ・DWH・データマートはAmazon Redshiftを使用します。
・需要予測システムから出力されたデータを抽出・変換し、DWHからデータマートに登録するETL設計・開発業務を行います。 ・一度Python Shellで実装されたETLが性能要件を満たさず、VisualETLおよびPySparkでの再構築を実施予定です。 ・DWH・データマートはAmazon Redshiftを使用します。
・電力会社向け電力消費量予測モデルを構築します。 ・PoCフェーズが完了し、本番運用と同量のモデルを構築するフェーズです。 ・元となるデータ加工・モデル構築・精度算出のソースコードはあるので、それを流用しつつ、PoC対象外のモデル構築・精度検証・誤差分析を想定しています。 ・学習用モデルデータ作成を行います。 ・予測モデル(LightGBM)の構築、精度検証を行います。 ・上記をSagemakerジョブにて並列実行する仕組みを構築します。 ・精度検証結果より、乖離要因の分析・レポート出力を行います。
・電力会社向け電力消費量予測モデルを構築します。 ・PoCフェーズが完了し、本番運用と同量のモデルを構築するフェーズです。 ・元となるデータ加工・モデル構築・精度算出のソースコードはあるので、それを流用しつつ、PoC対象外のモデル構築・精度検証・誤差分析を想定しています。 ・学習用モデルデータ作成を行います。 ・予測モデル(LightGBM)の構築、精度検証を行います。 ・上記をSagemakerジョブにて並列実行する仕組みを構築します。 ・精度検証結果より、乖離要因の分析・レポート出力を行います。
エンドユーザーやシステム担当者、当部署のBI担当メンバー等と協力し、要件定義からレポート提供、 レポート提供後の保守運用、ユーザーサポートまでの全工程を実施する。 ・要件定義、設計、開発、テスト、リリース作業 (ユーザとコミュニケーションをとりながら、ユーザに必要な要件を確定する) ・開発/保守にかかわるドキュメント作成 ・既存レポートのリファクタリングなど(データ調査、修正など) ・基幹システム担当者とのコミュニケーション(情報共有、調整作業等) ・週2~3で丸の内に出社
エンドユーザーやシステム担当者、当部署のBI担当メンバー等と協力し、要件定義からレポート提供、 レポート提供後の保守運用、ユーザーサポートまでの全工程を実施する。 ・要件定義、設計、開発、テスト、リリース作業 (ユーザとコミュニケーションをとりながら、ユーザに必要な要件を確定する) ・開発/保守にかかわるドキュメント作成 ・既存レポートのリファクタリングなど(データ調査、修正など) ・基幹システム担当者とのコミュニケーション(情報共有、調整作業等) ・週2~3で丸の内に出社
【作業内容】 SAS EGで開発されたバッチ処理の移行開発を行い、SAS ViyaのSAS Studioで動作する形への実装を担当します。また、移行開発に伴うテストも実施していただきます。
【作業内容】 SAS EGで開発されたバッチ処理の移行開発を行い、SAS ViyaのSAS Studioで動作する形への実装を担当します。また、移行開発に伴うテストも実施していただきます。
【作業内容】 ・DWH や BI のインフラと共通処理ETLジョブ実装を行います。 ・CDK開発環境の構築 - インフラ(CDK実装) ・ユーザー定義帳票と汎用分析帳票の詳細設計と実装を行います。 ・単体試験の実施と品質成績書の作成をします。 【開発環境】 ・CDK、Glue、Redshift、QuickSight、Lambda、Step Functions
【作業内容】 ・DWH や BI のインフラと共通処理ETLジョブ実装を行います。 ・CDK開発環境の構築 - インフラ(CDK実装) ・ユーザー定義帳票と汎用分析帳票の詳細設計と実装を行います。 ・単体試験の実施と品質成績書の作成をします。 【開発環境】 ・CDK、Glue、Redshift、QuickSight、Lambda、Step Functions
【作業内容】 開発・運用プロダクトのデータ活用を主務とするエンジニアとして、AI活用を前提としたダッシュボードの構築運用、管理、各種ログデータ分析を行い実際の課題解決を支援します。 ・BI構築、データ取得、ETL処理、パイプライン構築をアジャイルプロジェクト下で実行します。 ・プロダクトや各部署に対し、AI活用を前提としたダッシュボードやログ分析結果を柔軟に提供します。 ・外部データの取り込みや、新機能・新サービスの業務プロセスへの落とし込みを行います。 【開発環境】 GCP(BigQuery、Looker Studio Pro、Gemini)、AWS(Athena、Amazon Quick Suite、Chatagent)、Python、R、MySQL、SuperSet、copilot、GitLab、GitHubを利用します。
【作業内容】 開発・運用プロダクトのデータ活用を主務とするエンジニアとして、AI活用を前提としたダッシュボードの構築運用、管理、各種ログデータ分析を行い実際の課題解決を支援します。 ・BI構築、データ取得、ETL処理、パイプライン構築をアジャイルプロジェクト下で実行します。 ・プロダクトや各部署に対し、AI活用を前提としたダッシュボードやログ分析結果を柔軟に提供します。 ・外部データの取り込みや、新機能・新サービスの業務プロセスへの落とし込みを行います。 【開発環境】 GCP(BigQuery、Looker Studio Pro、Gemini)、AWS(Athena、Amazon Quick Suite、Chatagent)、Python、R、MySQL、SuperSet、copilot、GitLab、GitHubを利用します。
【募集背景】 太陽光発電における電力量予測の高度化・精度向上を目的としたデータサイエンスプロジェクトを推進するための体制強化のための募集となります。 【作業内容】 太陽光発電の電力量予測プロジェクトにおいて、AWS上の各種サービスを活用しながら、電力量予測モデルの構築・改善、関連するデータの前処理や分析、予測結果の検証などをご担当いただきます。また、プロジェクトメンバーと連携し、要件に応じたモデルのチューニングや運用面を考慮した実装なども行っていただきます。 【求める人物像】 データやモデルの検証を自律的に進められ、関係者とコミュニケーションを取りながら改善提案ができる方を求めております。また、新しい技術やドメイン知識を積極的にキャッチアップし、プロジェクトの成果最大化に向けて主体的に取り組んでいただける方が望ましいです。 【ポジションの魅力】 再生可能エネルギー分野における実プロジェクトに参画し、電力量予測という社会的インパクトの大きいテーマに携わることができます。クラウド環境を活用したデータサイエンス実務の経験を深めることができ、電力分野の知見やML Opsなどの周辺スキルも含めてスキルの幅を広げていただけます。 【開発環境】 AWS(SageMaker, Lambda)を中心としたクラウド環境上で、PythonおよびSQLを用いたデータ処理・モデル構築を行います。必要に応じてSnowflakeなどのデータ基盤や、Terraformなどのインフラ自動化ツールを利用する可能性があります。
【募集背景】 太陽光発電における電力量予測の高度化・精度向上を目的としたデータサイエンスプロジェクトを推進するための体制強化のための募集となります。 【作業内容】 太陽光発電の電力量予測プロジェクトにおいて、AWS上の各種サービスを活用しながら、電力量予測モデルの構築・改善、関連するデータの前処理や分析、予測結果の検証などをご担当いただきます。また、プロジェクトメンバーと連携し、要件に応じたモデルのチューニングや運用面を考慮した実装なども行っていただきます。 【求める人物像】 データやモデルの検証を自律的に進められ、関係者とコミュニケーションを取りながら改善提案ができる方を求めております。また、新しい技術やドメイン知識を積極的にキャッチアップし、プロジェクトの成果最大化に向けて主体的に取り組んでいただける方が望ましいです。 【ポジションの魅力】 再生可能エネルギー分野における実プロジェクトに参画し、電力量予測という社会的インパクトの大きいテーマに携わることができます。クラウド環境を活用したデータサイエンス実務の経験を深めることができ、電力分野の知見やML Opsなどの周辺スキルも含めてスキルの幅を広げていただけます。 【開発環境】 AWS(SageMaker, Lambda)を中心としたクラウド環境上で、PythonおよびSQLを用いたデータ処理・モデル構築を行います。必要に応じてSnowflakeなどのデータ基盤や、Terraformなどのインフラ自動化ツールを利用する可能性があります。
ECサイトにおけるデータ分析支援 ■業務内容: 大手運送会社様の新規事業であるECサイトにて、データ分析及び示唆出しをお任せいたします。 ECサイトの顧客・仕入れ・データとデータベースの販売実績などを比較し、 売上向上やプライシングの切り口についてアイディア、示唆出しまでを実施いたしま す。 データサイエンティストとしての経験がある方を募集いたします。
ECサイトにおけるデータ分析支援 ■業務内容: 大手運送会社様の新規事業であるECサイトにて、データ分析及び示唆出しをお任せいたします。 ECサイトの顧客・仕入れ・データとデータベースの販売実績などを比較し、 売上向上やプライシングの切り口についてアイディア、示唆出しまでを実施いたしま す。 データサイエンティストとしての経験がある方を募集いたします。
<プロジェクト概要> · さまざまなサービスと実装パターンを活用して、 安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指し、具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、 データの取り込み、保存、処理、消費のためのソリューションを設計します。 そして、組織の要件に応じて、アーキテクチャが高可用性、災害復旧、およびグローバル分散向けに設計されているこが目的です <想定される作業> · データエンジニアと緊密に連携して、バッチおよびリアルタイムデータ処理用の データパイプラインの構築と最適化 · データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、 高度な分析や機械学習プロジェクトをサポートします。 1.データモデリング: データ資産が保存、取得、分析のために効果的に整理されるように、 概念的、論理的、物理的なデータ モデルを開発します。 2.データベース管理: データベースの設計、実装、保守を監督し、 パフォーマンス、セキュリティ、スケーラビリティの要件を満たしていることを確認します。 3.データ統合: さまざまなソースと形式のデータを統合して、 システム全体の一貫性、正確性、信頼性を確保します。 4.データガバナンスとセキュリティ: データ管理のポリシーと手順を確立し、 規制要件への準拠を確保し、機密データを保護するためのセキュリティ対策を実施します。 5.データ分析と視覚化: データ アナリストやビジネス関係者と協力して、 データ要件を理解し、データ分析と視覚化のためのソリューションを開発します。 6.テクノロジーの評価と実装: 新興テクノロジーの最新情報を把握し、 ツールとプラットフォームを評価して、データ管理と分析機能を強化します。 7.コラボレーションとコミュニケーション: 開発者、アナリスト、ビジネス リーダーなどの部門横断的なチームと緊密に連携して、要件を理解し、優先順位を調整し、ソリューションを効果的に伝えます。 8.戦略計画: 戦略計画活動に参加し、チームの目標を定義し、 それを組織の全体的なデータ戦略およびビジネス目標と一致させます。
<プロジェクト概要> · さまざまなサービスと実装パターンを活用して、 安全でスケーラブルかつコスト効率に優れたエンタープライズアーキテクチャを設計から実装を目指し、具体的には、さまざまなデータワークロードと分析ニーズをサポートするために、 データの取り込み、保存、処理、消費のためのソリューションを設計します。 そして、組織の要件に応じて、アーキテクチャが高可用性、災害復旧、およびグローバル分散向けに設計されているこが目的です <想定される作業> · データエンジニアと緊密に連携して、バッチおよびリアルタイムデータ処理用の データパイプラインの構築と最適化 · データサイエンティストやアナリストと協力して、データへのアクセスを容易にし、 高度な分析や機械学習プロジェクトをサポートします。 1.データモデリング: データ資産が保存、取得、分析のために効果的に整理されるように、 概念的、論理的、物理的なデータ モデルを開発します。 2.データベース管理: データベースの設計、実装、保守を監督し、 パフォーマンス、セキュリティ、スケーラビリティの要件を満たしていることを確認します。 3.データ統合: さまざまなソースと形式のデータを統合して、 システム全体の一貫性、正確性、信頼性を確保します。 4.データガバナンスとセキュリティ: データ管理のポリシーと手順を確立し、 規制要件への準拠を確保し、機密データを保護するためのセキュリティ対策を実施します。 5.データ分析と視覚化: データ アナリストやビジネス関係者と協力して、 データ要件を理解し、データ分析と視覚化のためのソリューションを開発します。 6.テクノロジーの評価と実装: 新興テクノロジーの最新情報を把握し、 ツールとプラットフォームを評価して、データ管理と分析機能を強化します。 7.コラボレーションとコミュニケーション: 開発者、アナリスト、ビジネス リーダーなどの部門横断的なチームと緊密に連携して、要件を理解し、優先順位を調整し、ソリューションを効果的に伝えます。 8.戦略計画: 戦略計画活動に参加し、チームの目標を定義し、 それを組織の全体的なデータ戦略およびビジネス目標と一致させます。
■案件概要 ・データサイエンティストやWebマーケターと連携しながら、動画配信サービスの売上向上を目的としたサービス改善の推進を担当いただきます。 主な業務内容 ・実行が決まった施策の開発全般の推進 補足事項 ・主にご担当いただく範囲は施策要件の定義、事業部内開発メンバーのリードおよび施策実行に伴うビジネス部門との調整です。 ・施策のインパクト試算やABテスト設計、ダッシュボード作成、レポート分析はデータサイエンティストと伴奏しながら進めます。 ・ご興味、ご経験に応じて中規模(リードタイム3~6ヶ月程度)の開発プロジェクトもご担当いただけます。 ■開発環境 コミュニケーションツール: Jira、Slack、Zoom ドキュメンテーション:Confluence、miro、GoogleWorkspace BIツール:redash、Looker、GoogleAnalytics PC:Mac、Windows
■案件概要 ・データサイエンティストやWebマーケターと連携しながら、動画配信サービスの売上向上を目的としたサービス改善の推進を担当いただきます。 主な業務内容 ・実行が決まった施策の開発全般の推進 補足事項 ・主にご担当いただく範囲は施策要件の定義、事業部内開発メンバーのリードおよび施策実行に伴うビジネス部門との調整です。 ・施策のインパクト試算やABテスト設計、ダッシュボード作成、レポート分析はデータサイエンティストと伴奏しながら進めます。 ・ご興味、ご経験に応じて中規模(リードタイム3~6ヶ月程度)の開発プロジェクトもご担当いただけます。 ■開発環境 コミュニケーションツール: Jira、Slack、Zoom ドキュメンテーション:Confluence、miro、GoogleWorkspace BIツール:redash、Looker、GoogleAnalytics PC:Mac、Windows
AI技術を事業の柱としているメガベンチャー企業にて、AI技術を活用したソリューション開発を行っている部署がございます。 そこでAIコンサルタント業務をお任せできる方を募集いたします。 <想定業務内容> ・Web3やブロックチェーン/分散コンピューティング/AIなどの技術を利活用したソリューション提案 ・クライアント企業の経営陣・役員・本部長クラスとの対話、信頼関係構築 ・事業開発メンバーおよび技術メンバー(データサイエンティストやエンジニア)と連携した開発プロジェクトの推進 など 【使用するツール】 ・Googleスプレッドシード ・Googleプレゼンテーション ・Googleカレンダー ・Google Drive ・Slack ・Zoom
AI技術を事業の柱としているメガベンチャー企業にて、AI技術を活用したソリューション開発を行っている部署がございます。 そこでAIコンサルタント業務をお任せできる方を募集いたします。 <想定業務内容> ・Web3やブロックチェーン/分散コンピューティング/AIなどの技術を利活用したソリューション提案 ・クライアント企業の経営陣・役員・本部長クラスとの対話、信頼関係構築 ・事業開発メンバーおよび技術メンバー(データサイエンティストやエンジニア)と連携した開発プロジェクトの推進 など 【使用するツール】 ・Googleスプレッドシード ・Googleプレゼンテーション ・Googleカレンダー ・Google Drive ・Slack ・Zoom
・旅行業務支援事業のSaaSプロダクト、レベニューアシスタント、 その周辺プロダクトを担当いただきます。 ・ホテル・旅館の経営者の課題を元に、旅行業務支援事業の SaaSプロダクトのインターフェースの品質を担保していくことがミッションです。 ・データサイエンティストやエンジニアなど職種を超えた仲間と協力しながら デザイナーとして活躍していただきます。 ・基本はフルリモート勤務で、デザイン検証のために旅館やホテルに訪問する 機会があります。 【具体的な業務内容】 ・プロダクトオーナーと相談した要求の策定 ・機能要求を元にしたIA設計 ・IA設計を元にしたUIデザインとプロトタイプの作成 ・デザインシステムの構築・保守 ・ブランドにまつわる各種ガイドラインの運用 ・チームメンバーへのデザイン仕様の説明
・旅行業務支援事業のSaaSプロダクト、レベニューアシスタント、 その周辺プロダクトを担当いただきます。 ・ホテル・旅館の経営者の課題を元に、旅行業務支援事業の SaaSプロダクトのインターフェースの品質を担保していくことがミッションです。 ・データサイエンティストやエンジニアなど職種を超えた仲間と協力しながら デザイナーとして活躍していただきます。 ・基本はフルリモート勤務で、デザイン検証のために旅館やホテルに訪問する 機会があります。 【具体的な業務内容】 ・プロダクトオーナーと相談した要求の策定 ・機能要求を元にしたIA設計 ・IA設計を元にしたUIデザインとプロトタイプの作成 ・デザインシステムの構築・保守 ・ブランドにまつわる各種ガイドラインの運用 ・チームメンバーへのデザイン仕様の説明
■内 容: ・旅行業務支援事業のSaaSプロダクト、レベニューアシスタント、 その周辺プロダクトを担当いただきます。 ・ホテル・旅館の経営者の課題を元に、旅行業務支援事業の SaaSプロダクトのインターフェースの品質を担保していくことがミッションです。 ・データサイエンティストやエンジニアなど職種を超えた仲間と協力しながら デザイナーとして活躍していただきます。 ・基本はフルリモート勤務で、デザイン検証のために旅館やホテルに訪問する 機会があります。 【具体的な業務内容】 ・プロダクトオーナーと相談した要求の策定 ・機能要求を元にしたIA設計 ・IA設計を元にしたUIデザインとプロトタイプの作成 ・デザインシステムの構築・保守 ・ブランドにまつわる各種ガイドラインの運用 ・チームメンバーへのデザイン仕様の説明
■内 容: ・旅行業務支援事業のSaaSプロダクト、レベニューアシスタント、 その周辺プロダクトを担当いただきます。 ・ホテル・旅館の経営者の課題を元に、旅行業務支援事業の SaaSプロダクトのインターフェースの品質を担保していくことがミッションです。 ・データサイエンティストやエンジニアなど職種を超えた仲間と協力しながら デザイナーとして活躍していただきます。 ・基本はフルリモート勤務で、デザイン検証のために旅館やホテルに訪問する 機会があります。 【具体的な業務内容】 ・プロダクトオーナーと相談した要求の策定 ・機能要求を元にしたIA設計 ・IA設計を元にしたUIデザインとプロトタイプの作成 ・デザインシステムの構築・保守 ・ブランドにまつわる各種ガイドラインの運用 ・チームメンバーへのデザイン仕様の説明
AI技術を事業の柱としているメガベンチャー企業にて、AI技術を活用した ソリューション開発を行っている部署がございます。 そこでAI、DXのコンサルタントとして業務を行っていただける方を募集します。 特に、CEO直下で開発サイドや事業開発サイドのメンバーと連携しつつ、 オルツの顔として、Web3やブロックチェーン/分散コンピューティング/AI などの技術を駆使し大手企業各社のニーズに合わせた最適なソリューション提案 並びにデリバリーをリードして頂きます。 <想定業務内容> ・Web3やブロックチェーン/分散コンピューティング/AIなどの技術を利活用した提案 ・クライアント企業の経営陣・役員・本部長クラスとの対話、信頼関係構築 ・事業開発メンバーおよび技術メンバー(データサイエンティストやエンジニア)と 連携した開発プロジェクトの推進 【使用するツール】 ・Googleスプレッドシード ・Googleプレゼンテーション ・Googleカレンダー ・Google Drive ・Slack ・Zoom
AI技術を事業の柱としているメガベンチャー企業にて、AI技術を活用した ソリューション開発を行っている部署がございます。 そこでAI、DXのコンサルタントとして業務を行っていただける方を募集します。 特に、CEO直下で開発サイドや事業開発サイドのメンバーと連携しつつ、 オルツの顔として、Web3やブロックチェーン/分散コンピューティング/AI などの技術を駆使し大手企業各社のニーズに合わせた最適なソリューション提案 並びにデリバリーをリードして頂きます。 <想定業務内容> ・Web3やブロックチェーン/分散コンピューティング/AIなどの技術を利活用した提案 ・クライアント企業の経営陣・役員・本部長クラスとの対話、信頼関係構築 ・事業開発メンバーおよび技術メンバー(データサイエンティストやエンジニア)と 連携した開発プロジェクトの推進 【使用するツール】 ・Googleスプレッドシード ・Googleプレゼンテーション ・Googleカレンダー ・Google Drive ・Slack ・Zoom
【概 要】:大手自動車メーカーBigData領域開発(Web) ・大手自動車メーカーの「運転診断機能」という テーマ追加に伴うWeb開発。(スクラム採用) ・メイン言語は Python。AWS上で Lambda ,ECS(Fargate)、 StepFunctions等を使用したWebアプリ開発と 維持管理が主内容となります。 ・具体定的な業務作業としては、アルゴリズムは顧客側で 研究開発済みのGivenを利用、Spark等に ポーティングするスキームとなります。 【場 所】:完全フルリモート(関東近辺の方は初日のみ横浜、地方可) 【期 間】:10月~中長期 【スキル】:<必須> ・Pythonを用いたBigData関連の開発経験 (データサイエンティストLikeな方歓迎) ・AWS経験 ・設計経験 <尚可> ・AWS Lambda、API Gateway、SQS、DynmoDB、 Fargate、Kinesis Data Streamsの利用経験 ・SAM(ServerlessApplicationModel)で 管理されたシステムの開発経験 ・CI/CDが整備されている環境 (AWS CodeCommit・CodePipeline・CodeBuild)での開発経験
【概 要】:大手自動車メーカーBigData領域開発(Web) ・大手自動車メーカーの「運転診断機能」という テーマ追加に伴うWeb開発。(スクラム採用) ・メイン言語は Python。AWS上で Lambda ,ECS(Fargate)、 StepFunctions等を使用したWebアプリ開発と 維持管理が主内容となります。 ・具体定的な業務作業としては、アルゴリズムは顧客側で 研究開発済みのGivenを利用、Spark等に ポーティングするスキームとなります。 【場 所】:完全フルリモート(関東近辺の方は初日のみ横浜、地方可) 【期 間】:10月~中長期 【スキル】:<必須> ・Pythonを用いたBigData関連の開発経験 (データサイエンティストLikeな方歓迎) ・AWS経験 ・設計経験 <尚可> ・AWS Lambda、API Gateway、SQS、DynmoDB、 Fargate、Kinesis Data Streamsの利用経験 ・SAM(ServerlessApplicationModel)で 管理されたシステムの開発経験 ・CI/CDが整備されている環境 (AWS CodeCommit・CodePipeline・CodeBuild)での開発経験