SketchQL Demonstration: Zero-shot Video Moment Querying with Sketches

要約

このペーパーでは、スケッチベースのクエリ インターフェイスを使用してビデオの瞬間を取得するビデオ データベース管理システム (VDBMS) である SketchQL について説明します。
この斬新なインターフェイスにより、ユーザーは簡単なマウスのドラッグ アンド ドロップ操作でオブジェクトの軌跡イベントを指定できます。
ユーザーは、単一オブジェクトの軌跡を構成要素として使用して、複雑なイベントを構成できます。
SketchQL は、軌跡の類似性をエンコードする事前トレーニング済みモデルを使用して、ビデオに対して類似性検索を実行してビジュアル クエリに最も類似したクリップを特定することにより、ゼロショットのビデオ モーメントの取得を実現します。
このデモでは、SketchQL のグラフィック ユーザー インターフェイスを紹介し、その機能と対話メカニズムについて詳しく説明します。
また、実際のシナリオを使用して、クエリの作成からビデオの瞬間の取得までの SketchQL のエンドツーエンドの使用法も示します。

要約(オリジナル)

In this paper, we will present SketchQL, a video database management system (VDBMS) for retrieving video moments with a sketch-based query interface. This novel interface allows users to specify object trajectory events with simple mouse drag-and-drop operations. Users can use trajectories of single objects as building blocks to compose complex events. Using a pre-trained model that encodes trajectory similarity, SketchQL achieves zero-shot video moments retrieval by performing similarity searches over the video to identify clips that are the most similar to the visual query. In this demonstration, we introduce the graphic user interface of SketchQL and detail its functionalities and interaction mechanisms. We also demonstrate the end-to-end usage of SketchQL from query composition to video moments retrieval using real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google