Software Engineer / Data Platform

雇用形態
正社員
業務内容
Data Platform室ではLINEが提供している全サービスのデータ分析を支えるプラットフォームを提供しています。
現在、データの収集を担当するIngestionパート、データ分析関連のアプリケーション開発を担当するPlatform Devパート、そして主に独自のHadoopクラスタを開発しているHadoopパートの3つのパートにて、ソフトウェア・エンジニアを募集しています。

【チームのミッション】
Ingestionパート

・LINEメッセージングプラットフォームのための次世代データ処理及びデータパイプラインの開発
・KafkaやElasticsearch,Hadoopを用いた分散データ処理システムの設計・構築
・リアルタイムデータ分析のための,大規模データパイプラインの構築
・高可用サービス提供のためのシステム自動化や信頼性の高いシステムの設計・構築

Platform Devパート

・社内の企画者やデータサイエンティストの業務を助けるため、他のチーム(例:Ingestionパート、Hadoopパート)と連携して分散システムを対象としたツールの開発
・システム連携を行うためのAPIサーバの開発
・上記ツール、サービスの改善・運用

Hadoopパート

・数千台スケールのVanila Hadoopクラスタを安定的かつ効率的に運用するためのHadoopとそのエコシステムにおける独自ディストリビューション開発
・機密度の高い情報を安全に保持するためのセキュリティシステム構築
・Hadoopをそのまま使うのではなく、プラットフォームとしての完成度を上げるための運用自動化や監視システム構築

【チームの特徴】
Data Platform室が担当するのは、LINEのサービスから発生するデータを収集し、それを分析できるように整形し、そして分散基盤上のツールとして提供するところまでであるため、サービス開発者、Hadoopエンジニア、データサイエンティスト等様々な部署とやり取りします。

また日本だけではなく他の国にあるオフィスの同僚ともコミュニケーションすることも多いです。

多国籍のメンバがおり、日本語がメインですが、英語を使うことも多々あります。他の部署も似ていますが、文書とチャット上では英語を使っています。

開発するツールの種類としてはバッチや管理画面といったオーソドックスなものからSpark, Prestoといった分散システムを対象としたものまで幅広くあります。

Data Platform室で開発した具体的なアプリケーションや周辺システムについては下記を参考にしてください。

【LINE Developer Day 2018での発表内容 - 2018年11月】
https://linedevday.linecorp.com/jp/2018/#A-5
https://linedevday.linecorp.com/jp/2018/#B-6

【LINE Developer Meetup in Tokyo #27での発表内容 - 2018年1月】
https://logmi.jp/tech/articles/286011
https://logmi.jp/tech/articles/286477

【お任せしたい範囲と役割】

Ingestionパート

・データパイプライン基盤の設計開発運用
・LINEの各サーバやクライアントから発生する大量のログを収集する基盤の設計開発(Fluentd, Filebeatなど)
・収集したログを整形加工しHadoopやElasticsearchを始めとするストレージに保存するまでの大規模ETL基盤の設計開発(Kafka, Flinkなど)
・上記基盤のメンテナンスとユーザサポート
・上記の収集基盤やETL基盤を社内Saasとして提供するためのシステムの設計開発

Platform Devパート

・プランナーと連携して社内要件を満たしたツールの設計開発運用
・ユーザサポート
・必要であれば他チームと連携してのトラブルシューティング

Hadoopパート

・クラスタ運用、監視のためのツールの開発
・LINE独自のHadoopエコシステムの開発
・Hadoopとそのエコシステムソフトウェアのバグフィックス

【プロダクトのフェーズと課題、やりがいや魅力】
Data Platform室が担当する分析プラットフォームについては、プロトタイプフェーズは済んでおりすでに社内で実際に使われています。今は社内の様々なニーズに応えられるようにするための新機能の開発やスケーラビリティの確保、信頼性の向上、運用自動化などが主な課題となっています。

新機能の開発と言っても単純な機能追加にとどまらず、必要であれば1から作り直すほどの規模の開発も行っています。そのため、大規模なデータシステムを上から下まで触れられることがこのチームの魅力です。

【使っているツール / 開発環境】
ストリーミングシステム - Kafka/Flink
データ収集ツール - Fluentd/Filebeat/Logstash/Elasticsearch
Hadoopエコシステム - HDFS/YARN/Hive/Presto/Spark/HBase
運用・モニタリング - Kubernetes/Ansible/Grafana/Prometheus + Promgen/imon - internal monitoring tool
BI - Tableau
開発環境 - IntelliJ/Eclipse/Github/Jenkins
開発言語 - Java/Kotlin/Scala/Python
応募資格
【必須のスキル】
・コンピュータサイエンス・情報系の学士/修士/博士学位のいずれか、またはそれに準ずる経験
・データ構造、アルゴリズム、計算量分析などのコンピュータサイエンスの基礎的素養
・Javaを用いたソフトウェア開発の実務経験(3年以上)
・Concurrent/multi-threadedシステムの開発経験
・Linux/Unix環境での開発・システム運用経験
・Ansibleなどのプロビジョニングツールを使ってマシンを適切にセットアップできること
・モニタリング、監視を適切に設定できること

【歓迎するスキル】
・大規模データを扱うKafkaやHadoopなどのミドルウェアを分析,デバッグ,最適化する知識・技術
・大規模システムあるいは分散システムを設計、分析、問題解決できること
・データパイプライン基盤の設計経験
・分散データパイプラインにおける'at-least-once','exactly-once'などのセマンティクスを理解し,システムを構築する技術
・Elasticsearch,Hadoop,Spark, Prestoなどのデータ分析エンジンへの精通
・Fluentd, Embulk, Filebeatなどのデータ収集ツールへの精通
・フレームワークやプラットフォームなどの開発運用経験
・Kubernetesを始めとするコンテナ関連技術を用いたシステム構築経験
・リレーショナルデータベースエンジンの知識
・24時間が稼働が必要なミッションクリティカルなシステムを提供した経験
・JVM GCのトラブルシューティング・チューニングの経験
・Maven, GradleやGitの利用経験

【期待する人物像】
・主体的にやるべきことを考え、実行できる方
・必要があれば他チームを巻き込んで調整していける方
・分散システムやデータに関する興味、関心
・新しい技術の探求など知的好奇心、チャレンジ精神のある方
勤務地
新宿オフィス
〒160-0022 東京都新宿区4-1-6 JR新宿ミライナタワー23F
勤務時間
専門業務型裁量労働制(1日の労働時間に関わらず1日9.5時間労働したものとみなします。)、フレックスタイム制(コアタイム 11:00〜16:00)、10:00~18:30(実働7時間30分)のいずれか適用 ※面接後に決定
待遇 / 福利厚生
■休日/休暇

・完全週休2日制(土・日)、祝日、年次有給休暇、年末年始休暇、慶弔休暇、リフレッシュ休暇制度(勤続5年で10日間)

■給与

・年俸制(保有されるスキル・経験・能力により優遇、相談の上で決定)
 ・年俸の12分の1を毎月支給。
 ・別途、インセンティブプラン有(※1)
・給与改定:年2回
・諸手当:交通費全額支給、LINE Pay Card Benefit Plan(※2)

(※1)年俸額の他に、会社・本人の業績、評価に応じ、年2回インセンティブを支給することがあります。
(必ず支給されるものではありません。また、支給日に在籍している場合に限り支給対象となります。)
(※2)社員の「健康維持増進」「自己啓発」「次世代育成」を目的として給与とは別に支給する手当です。

■各種保険

・雇用保険、労災保険、健康保険、厚生年金保険

■福利厚生

・定期健康診断
・各種社内イベント他

その他詳細は面談の際にお伝えします。

求人検索タグ

  • サーバーサイド
  • データベース
  • キャリア採用
  • 東京
  • 本社機能