Bacalhauを活用したビッグデータ処理への分散型アプローチでデータ処理を行う"Expanso"がSeedで$7.5Mを調達

Expansoは、General CatalystとHetz Venturesが共同リードし、Array Venturesが参加したSeedで$7.5Mを調達した。

シアトルを拠点にオープンソースソフトウェア「Bacalhau」を活用したビッグデータ処理への分散型アプローチで、企業が増大し続けるデータニーズを管理できるようにするExpansoは、Google、AWS、MicrosoftのOBによって共同設立され、オープンソース・ソリューションに焦点を当て、現在巨大だが見過ごされている課題であると考えている"企業データの実際の活用"に取り組む企業をターゲットとしています。

分散ビッグデータ処理は複雑で困難なものです。最大の課題のひとつは、異なるノード間のデータを集中型のデータレイクに転送する際の時間とコストへの対処です。そのため、新しいデータの流入にリアルタイムで対応することが難しくなります。さらに、多くのプラットフォームは強力ではあるが、洞察力を得ることはおろか、データにアクセスするためだけに既存のコードを新しいフレームワークに変換する必要があります。また、分散型のビッグデータ処理システムは、個人を特定できる情報(PII: Personally Indentifiable Information)の流出、規制上の懸念、データ漏洩など、セキュリティ問題の標的になりやすい状況です。

Expansoが開発・支援するオープンソースソフトウェア「Bacalhau」は、"Compute Over Data"の原則に基づいて構築されています。これは、データを最初にクラウドに移動するのではなく、データのある場所に処理ジョブをもたらすことを意味します。これには以下のような利点があります。

コスト削減： 大量のデータをクラウドに移動させるのはコストがかかる

スピードの向上：Bacalhauはデータをローカルで処理するため、クラウド転送の待ち時間がなくなり、データ量の多いアプリケーションのパフォーマンスが向上する

セキュリティの向上： データを移動させないことで、データ漏洩やその他のセキュリティ・インシデントのリスクが軽減される

さらにBacalhauでは、任意のDockerコンテナやWebAssembly(WASM)イメージをタスクとして実行することで、ユーザーは大規模な書き換えを行うことなく、既存のワークフローを合理化できます。このソフトウェアは、オンプレミスでも、Amazon Web Services(AWS)、Microsoft Azure、Google Cloud、Oracle Cloudなど、あらゆるクラウド内で実行することができます。

「たとえ世界中に分散していたとしても、データのある場所に対応するために構築されたインフラは、長い間待ち望まれていました。ExpansoがBacalhauと共に構築するものは、ビッグデータの処理方法とグローバルな計算ジョブの実行方法に革命を起こすことを意図しており、同時に全く新しいクラスのアプリケーションのロックを解除します。我々は、General Catalyst、Hetz Ventures、Array Venturesと提携し、この資金を活用してBacalhauとExpansoの開発を加速させ、さらに多くのユーザーに提供できることに興奮しています。」」とExpansoのCEOは説明しています。

開発者は、Python、R、Duck DBなど、すでに使い慣れたツールをほとんど変更することなく使用できます。コンテナ化できるものなら、ほとんど何でもネットワーク上で実行できます。「現代のデータ・スタックに欠けているのは、最初にすべてを集中管理するのではなく、データが作成される場所でデータを処理する能力です。Bacalhauはこのミッシングリンクを埋めるもので、大勢のリモートワーカーがDuckDBを使ってエッジでデータをフィルタリング、要約、変換してから、クラウド上のMotherDuckに結果を伝えることができます。

Bacalhauは、約半年間稼働している無料のデモネットワークを提供しています。立ち上げ以来、同社のネットワークは、メリーランド大学、BOINC、New Atlantis Foundationなどのデザイン・パートナーのために、150万以上のジョブを処理してきました。

Bacalhauは今日、オープンソース・ソフトウェアとして利用可能です。ダウンロードするには、こちらのウェブサイトへアクセスして下さい。公開されているGitHubレポもご確認ください。