オブザーバビリティのアーキテクチャ

本文ファインディでは、エンジニアと組織の転職マッチングプラットフォームやエンジニア組織支援SaaS事業を開発しています。その中でも今回は、エンジニア向けの転職サービス「Findy」、フリーランスエンジニア向けのエージェントサービス「Findy Freelance」のデータ基盤についてご説明します。 アーキテクチャとしてはプロダクトごとにデータ基盤を構築するデータメッシュを採用しています。以前は中央集権的に BigQuery へデータを集約していましたが、メンバーやデータ活用の用途が増えるにつれ、影響範囲の見積もりづらさや複雑な IAM 管理が問題になりました。事業部ごとに IAM やデータリネージを管理すべく Google Cloud のプロジェクトを分けてそれぞれの BigQuery へデータを集約するように変更しました。 また以前は BigQuery のデータセットも役割ごとに整理できていませんでした。現在は source/staging/intermediate/mart とそれぞれに役割を設けてテーブルを管理しています。 データインテグレーションやリバース ETL ツールには TROCCO を使っており、事業部からの様々な依頼に対応できるようにしています。