Fivetran クラウドデータプラットフォームのデータ移動と変換を自動化

最善の意図にもかかわらず、多くの組織はまだデータ処理や分析の基本的な側面に苦労しています。運用アプリケーションからデータを取り出して分析可能な状態にすることは第一歩ですが、データ管理は常に課題であり続けています。データの移動と変換の困難さは遅延やデータ品質の問題を引き起こし、組織がデータから価値を生み出すことを阻んでいます。Ventana Researchのデータガバナンスベンチマークリサーチに参加した企業の54%以上が、複数のデータソースからのデータを統合し管理することができず、企業全体での「真実の一貫性」を達成することができていません。

データ移動と変換の課題が続くことで、数多くの既存のベンダーがこれらの問題に取り組む製品を提供しています。新たなベンダーも独自のアプローチで続々と登場しています。Fivetranはデータ移動と変換市場の比較的新参者ですが、そのデータ移動と変換のアプローチにより、先進的なデータスタックでの主要ベンダーとしての地位を確立しています。

Fivetranは2012年に設立され、クラウドベースの抽出、ロード、変換（ELT）データパイプラインを通じてデータ移動と変換を簡易化し自動化することを目指した複数の他社とともに登場しました。Fivetranは初めてELTに対する関心がSaaSアプリケーションからのデータを接続し分析しようとするデジタルスタートアップや中小企業から来ていることを見出しました。企業が成長するにつれ、エンタープライズアプリケーションに対するELTアプローチに興味を持つ大規模な既存の企業からの関心が増えてきました。

2021年9月、同社はデータベースレプリケーションプロバイダーのHVRを買収し、エンタープライズアカウントへの対応能力を加速すると発表しました。この買収は、Andreessen Horowitzが主導した5億6500万ドルのシリーズD資金調達ラウンドと同時に行われ、Fivetranの総資金調達額を7億3000万ドルに引き上げ、企業価値は56億ドルに達しました。その後FivetranはVista Credit Partnersからさらに1億2500万ドルの資金調達を行い、2月には年間売上高ベースで2億ドルを超えると発表しました。これは5000以上の顧客からのものです。HVRの買収により、変更データキャプチャ（CDC）技術に基づくデータベースレプリケーション機能が追加されました。CDCは、データが挿入、更新、または削除されるときだけデータを同期することで、全体のデータセットを同期するのではなく、アジャイルなデータ統合と変換を実現します。Fivetranは、HVRのソフトウェアのサポートを2026年1月末まで続ける予定であり、CDCベースのデータレプリケーション機能をFivetranのマネージドサービスオファリングに組み込む予定です。

Fivetranは、運用および分析データソースからデータを抽出しロードすることを自動化するためのクラウドベースのデータ移動プラットフォームを提供しています。これは、データウェアハウス、データレイク、ストリーミングデータプラットフォームなどの様々なターゲットプラットフォームに対応しています。SaaSアプリケーション、データベース、ストレージ、ストリーミングプラットフォームの300以上のコネクタのスイートにより、管理されたデータレプリケーションが可能となっています。Fivetranは、単にソースからターゲットへデータを移動または複製するために使用されることもあります。Fivetran Transformationsは、dbt Coreというオープンソースのデータ変換ツールを利用して、ターゲット環境でのデータ変換をスケジュールし、実行することで追加のデータを生成することができます。

このELTアプローチは、ターゲットデータベースを使用して変換を行うことで、伝統的な抽出、変換、ロードデータパイプラインとは対照的です。後者は、ソース（通常は運用アプリケーションをサポートするデータベース）からデータを抽出し、専用のステージングエリアで変換し、分析のためにターゲット環境（通常はデータウェアハウスまたはデータレイク）にロードすることを目的としています。ETLパイプラインは特定のデータ変換タスクのために設計されているため、頑固で、適応させるのが困難で、継続的でアジャイルなプロセスには向いていません。

対照的に、ELTパイプラインはデータ変換の実行をターゲットデータプラットフォームに押し出すことで、データソースの変化に対応可能なアジャイルなデータ抽出とロードフェーズを実現します。私が以前に説明した通り、リアルタイムのデータ処理の要求に応えるための大きな敏捷性と柔軟性のニーズにより、ELTパイプラインに対する関心が高まっています。私は、2025年までに、組織の情報アーキテクチャの3分の2以上が、データ処理を加速し、大量のデータの価値を最大化するためにELT（抽出、ロード、変換）パターンをサポートするだろうと予想しています。Fivetranはまた、主要なデータソースのための事前構築されたdbt互換のデータモデルを提供します。ユーザーは、データの流れ、ログ、状態をデータ系譜グラフの形で監視し、コネクタと変換のアラートを設定し管理することができます。同社は、Fivetranのコネクタを使用して挿入、更新、または削除されたデータに対して、顧客に月間アクティブ行の基準で課金します。

Fivetranは現在、データ管理分野での主要ベンダーとして確固たる地位を確立しており、HVRの買収により、より大きな組織のニーズを満たす能力が向上しました。それはCDCデータ移動機能をそのコネクタのスイートとクラウドベースのELTへ追加しました。私たちは、データオーケストレーションとデータ観察性の機能をさらに追加することで、同社がその価値を拡大する機会を見ています。これらは、我々がDataOpsの主要なコンポーネントと見なしているものです。それにもかかわらず、データ移動と変換への新たなアプローチを探求している組織に対して、Fivetranを評価に含めることを推奨します。