FedVMR: A New Federated Learning method for Video Moment Retrieval

要約

大きな成功を収めたにもかかわらず、既存のビデオ モーメント検索 (VMR) メソッドは、データが集中的に保存されているという前提で開発されています。
ただし、実際のアプリケーションでは、データ生成の固有の性質とプライバシーの問題により、データがさまざまなサイロに分散されることが多く、効果的な大規模トレーニングに大きな課題をもたらします。
この作業では、連合学習の最近の成功を活用して、上記の制限を克服しようとします。
VMR分野で最初に調査されたものとして、新しいタスクは、分散データを使用したビデオモーメント検索として定義されています。
次に、分散環境で VMR モデルの大規模かつ安全なトレーニングを容易にするために、FedVMR という名前の新しい連合学習方法が提案されます。
ベンチマーク データセットでの実験は、その有効性を示しています。
この作業は、分散化されたシーンで安全かつ効率的な VMR トレーニングを可能にする最初の試みであり、関連する研究分野でのさらなる研究への道を開くことが期待されています。

要約(オリジナル)

Despite the great success achieved, existing video moment retrieval (VMR) methods are developed under the assumption that data are centralizedly stored. However, in real-world applications, due to the inherent nature of data generation and privacy concerns, data are often distributed on different silos, bringing huge challenges to effective large-scale training. In this work, we try to overcome above limitation by leveraging the recent success of federated learning. As the first that is explored in VMR field, the new task is defined as video moment retrieval with distributed data. Then, a novel federated learning method named FedVMR is proposed to facilitate large-scale and secure training of VMR models in decentralized environment. Experiments on benchmark datasets demonstrate its effectiveness. This work is the very first attempt to enable safe and efficient VMR training in decentralized scene, which is hoped to pave the way for further study in the related research field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google