【企業の特徴】
グローバルEC企業
【仕事内容】
■職務内容
同社はビジネス全体にデータサイエンスとテクノロジーを活用しており、配送センターでの数百台のロボット活用など、新しい切り口でチャレンジを続けているテックカンパニーです。
急速に拡大を続けるビジネスの変化に対応するため、全面的に国内ECシステム基盤の刷新を進めています。このECシステム基盤は、検索システム, API基盤やデータ基盤などのシステムを含み、また基幹システム, 商品情報管理システム, マーケティングシステムなど様々なシステムとの連携が必要となるなど、システム全体として非常に規模が大きく、チャレンジングなものとなっています。
本ポジションでは、データを専門としたソフトウェアエンジニアとして、これらのシステムに対し大量のデータを高速に連携するためのリアルタイムデータパイプラインの構築、運用を担当いただきます。
例えば、バリエーションに富むデータソースからデータ連携するシステムの構築、大量のデータをリアルタイムに処理するためストリーム処理システムの構築、検索や推薦などのデータ利活用サービスのためにデータ提供を行うシステムの構築、データの完全生や一貫性を保つための仕組みの構築など技術的に高度な課題が多くあります。リアルタイムデータパイプラインは今後、当社のシステム全体のデータロジスティクスの中心となるプラットフォームで、ECシステムの中心となる重要な要素です。
■主な役割
- データパイプラインの開発運用
- ストリーム処理の開発運用
- 各種データソースとデータパイプラインの連携のためのシステムの開発運用
- ETL処理基盤の開発運用
- データ提供のためのAPIの開発
■主な使用技術
Google Cloud(BigQuery, Bigtable, Cloud Pub/Sub, Memorystore for Redis, Looker, Looker Studio, etc.) / dbt / Kubernetes / Apache Kafka / Github Enterprise / Argo CD / Argo Workflow / Python / Go
【応募資格】
■必須
- データを扱うシステムの業務に携わった経験(2年以上)
例:
- データ分析基盤・機械学習システムの設計・開発・運用
- Webシステムにおけるデータベースの設計・開発・運用
- クラウドサービスのDWHやBIの選定・導入・運用
etc.
■歓迎
- データ基盤の開発運用経験
- データメッシュ、大規模データ管理(オライリー)、DMBOKの理解や業務に活用した経験
- ETL, ELT, reverseETL処理の開発運用経験
※Japanese level: Fluent – Native level (Equivalent to JLPT N1)
【給与】 700-1200万円(スキル・ご経験により決定)
【Job Reference ID】: JO-2504-265416
【英語力】: 不問
【日本語力】: Fluent – Native level (Equivalent to JLPT N1)
【待遇・福利厚生】: 社会保険完備
【休日休暇】: 完全週休二日制(土曜、日曜、祝日)、年末年始休暇、年次有給休暇
【選考プロセス】 : 書類選考、面接数回を予定
雇用形態 : 正社員