FivetranのメタデータAPIが、データパイプラインの透明化を促進

Fivetranは、データパイプラインのメタデータをデータカタログに取り込むためのAPIのリリースを発表しました。CollibraやAlationなどのカタログに含まれる、すでに豊富なメタデータのストアを追加することで、このAPIはデータ品質とデータガバナンスを向上させることを目的としています。

メタデータAPIは、ソースシステムとターゲットシステム間で発生したデータの変更を追跡するのに便利です。また、実際にデータが移動する前にソースで発生した変更を判断する機能もあり、これは法規制のコンプライアンスを維持するために重要です。

FivetranのシニアプロダクトマネージャーであるMeera Viswanathan氏によると、これらの機能の多くは、「APIが提供するのは、ソースカラムとデスティネーションカラムのマッピング」という事実によって成り立っています。

そのため、テーブルのスキーマや命名規則などの微細な変更も正確に特定できる可能性があります。この情報をデータ系統グラフと組み合わせることで、企業はデータパイプラインを通じてソースシステムからターゲットシステムに加えられた変更の影響を完全に理解することができ、影響分析を支援することができます。
Viswanathan氏は、「以前は、組織はこれらの情報を引き出すことができなかった。いくつかの情報は持っていましたが、非常にバラバラなものでした。例えば、Fivetranの資産がここにあるといった具合です。過去には、ソースからデスティネーションまでデータをマッピングすることは不可能だったのです。」