イベント資料

https://speakerdeck.com/recruitengineers/meetup-toita
https://speakerdeck.com/recruitengineers/meetup-kittaka
https://speakerdeck.com/recruitengineers/meetup-tanda

イベントレポート・動画

https://techplay.jp/column/1551

イベント概要

今回のミートアップでは、リクルートが提供するオンライン学習サービス「スタディサプリ」のデータ基盤を紹介します。 昨年、従来のデータ基盤から BigQuery を中心としたGCP 環境へリプレイスしました。 それにともない、DWH だけでなくワークフローエンジン、ETLツール、ロガー、CI/CDツール、実行マシン、メタ管理ツールなどの技術コンポーネントも一新しました。 その結果、技術的負債の解消だけでなく、データ活用を通じてエンドユーザーにより良い学習体験を届ける仕組みが進化しました。
データ基盤移管で得られた失敗談やノウハウを含む実践的な活用事例を3つのパートに分けて紹介します。

参考：StudySapuri Data Meetup 2018年7月
https://techplay.jp/event/680407

開催方法

オンライン開催

タイムスケジュール

発表紹介

スタディサプリのデータ分析基盤の進歩と調和

発表者

戸井田 明俊
株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア マネージャー

新卒でオンラインゲーム会社に入社し、広告事業やデータ基盤のエンジニアを担当。2017年にリクルートに中途入社。データエンジニアマネージャーとして、データ基盤の開発・運用やデータプロダクトの開発に従事。

発表概要

2020年春、スタディサプリのデータ基盤を Treasure Data から BigQuery をはじめとする GCP 環境へ移管しました。事業・組織成長にともない、データ基盤に求められる要件・ステークホルダーが急速に変化していく中、技術的・組織的にどう対応したかを紹介します。特に、プロジェクトを進めるにあたっての、技術選定、チーム運営、メンバー育成などの試行錯誤をお話します。

スタディサプリでの BigQuery 移管と実践的活用術

発表者

橘高 允伸
株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア

2019年リクルート新卒入社。データエンジニアとしてデータ基盤の開発・運用に従事し、データ基盤の移管プロジェクトなどに携わる。現在はデータプロダクトのバックエンド開発も担当。

発表概要

・BigQueryのデータマート設計と権限管理
・既存の集計やデータ連携を止めず、DWHを移管する実践法
・BigQueryのAssert文とCloud Composerを使ったデータ整合性のチェック
・Lookerの利用ルール見直し、連携・権限管理
・Data Catalogを使った、メタ情報管理術
などなど、約2年にわたって行った BigQueey移管プロジェクトで培った、BigQueryの実践的な活用術を紹介します。

スタディサプリのデータ基盤を支えるETLとパイプラインの技術

発表者

丹田 尋
株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア

2020年リクルート新卒入社。データエンジニアとしてデータ基盤の開発・運用に従事し、データ基盤の移管プロジェクトなどに携わる。現在はデータ基盤の開発に加え、MLOps周りも担当。

発表概要

データ基盤では、データ取り込みやデータ連携のタスクが年々増えており、運用工数・費用面での負担が大きくなっておりました。そこで、今回のデータ基盤移管に伴いBigQuery 以外にも、Cloud Composer(Airflow)、Embulk、Cloud Run、Cloud Build、Firebase Analyticsなど様々なコンポーネントの導入・改良に取り組みました。持続可能なデータ基盤開発・運用を目指す中で、試行錯誤して編み出したノウハウを、ETLおよびパイプラインに焦点を当てて紹介します。