Towards a Flexible Scale-out Framework for Efficient Visual Data Query Processing

要約

画像のリサイズから複雑な機械学習モデルの実行まで、特殊な操作を伴うクエリをサポートするビジュアルデータ管理システムへの関心が高まっている。このような操作が多数存在するため、特にクライアントが1つのクエリで複数の操作を実行したい場合、クエリ応答を最短時間で受け取るという基本的なニーズは打撃を受ける。既存のシステムは、エンド・ツー・エンドのビジュアル・データ管理システムを提供するために、さまざまなソリューションを組み合わせたアドホックなアプローチを提供している。このようなソリューションとは異なり、ビジュアル・データ・マネジメント・システム（VDMS）は、複数の操作を含むクエリをネイティブに実行するため、エンド・ツー・エンドのソリューションを提供することができる。しかし、ネイティブ操作の固定サブセットと同期スレッドアーキテクチャにより、その汎用性とスケーラビリティが制限されている。 本稿では、VDMS-Asyncを開発し、VDMSでユーザー定義操作を実行し、リモートサーバー上でクエリ内の操作を実行する機能を追加する。VDMS-Asyncは、イベント駆動型アーキテクチャを利用し、クエリ内の操作実行のための効率的なパイプラインを作成する。我々の実験によると、VDMS-Asyncは、既存の最先端システムと比較して、クエリの実行時間を2～3倍短縮した。さらに、リモート操作とイベント駆動型アーキテクチャを組み合わせることで、VDMS-Asyncは新しいリモートサーバーを追加するたびに、クエリ実行時間をリニアに拡張することができます。64台のリモートサーバーを追加した場合、クエリー実行時間が64倍短縮されることを実証している。

要約(オリジナル)

There is growing interest in visual data management systems that support queries with specialized operations ranging from resizing an image to running complex machine learning models. With a plethora of such operations, the basic need to receive query responses in minimal time takes a hit, especially when the client desires to run multiple such operations in a single query. Existing systems provide an ad-hoc approach where different solutions are clubbed together to provide an end-to-end visual data management system. Unlike such solutions, the Visual Data Management System (VDMS) natively executes queries with multiple operations, thus providing an end-to-end solution. However, a fixed subset of native operations and a synchronous threading architecture limit its generality and scalability. In this paper, we develop VDMS-Async that adds the capability to run user-defined operations with VDMS and execute operations within a query on a remote server. VDMS-Async utilizes an event-driven architecture to create an efficient pipeline for executing operations within a query. Our experiments have shown that VDMS-Async reduces the query execution time by 2-3X compared to existing state-of-the-art systems. Further, remote operations coupled with an event-driven architecture enables VDMS-Async to scale query execution time linearly with the addition of every new remote server. We demonstrate a 64X reduction in query execution time when adding 64 remote servers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL