UniCon: Unidirectional Split Learning with Contrastive Loss for Visual Question Answering

要約

マルチモダリティ データを活用する視覚的質問応答 (VQA) は、ホーム ロボットやクリニック診断などの実際のアプリケーションに強い関心を集めています。
それにもかかわらず、課題の 1 つは、さまざまなクライアント タスクに対して堅牢な学習を設計することです。
この作業は、大規模なトレーニング データの前提条件と、主に機密性によるクライアント データ共有の制約との間のギャップを埋めることを目的としています。
分散データ サイロでの VQA タスク トレーニングに取り組むために、対照的損失を伴う単方向分割学習 (UniCon) を提案します。
特に、UniCon は、さまざまなクライアントのデータ分布全体にわたってグローバル モデルをトレーニングし、対照学習によって洗練されたクロスモーダル表現を学習します。
グローバル モデルの学習された表現は、さまざまなローカル タスクからの知識を集約します。
さらに、より効率的な知識共有を可能にするために、一方向分割学習フレームワークを考案します。
VQA-v2 データセットで 5 つの最先端の VQA モデルを使用した包括的な実験により、UniCon の有効性が実証され、VQA-v2 の検証セットで 49.89% の精度が達成されました。
この作業は、自己教師付き分割学習を使用したデータ機密性の制約の下での VQA の最初の研究です。

要約(オリジナル)

Visual question answering (VQA) that leverages multi-modality data has attracted intensive interest in real-life applications, such as home robots and clinic diagnoses. Nevertheless, one of the challenges is to design robust learning for different client tasks. This work aims to bridge the gap between the prerequisite of large-scale training data and the constraint of client data sharing mainly due to confidentiality. We propose the Unidirectional Split Learning with Contrastive Loss (UniCon) to tackle VQA tasks training on distributed data silos. In particular, UniCon trains a global model over the entire data distribution of different clients learning refined cross-modal representations via contrastive learning. The learned representations of the global model aggregate knowledge from different local tasks. Moreover, we devise a unidirectional split learning framework to enable more efficient knowledge sharing. The comprehensive experiments with five state-of-the-art VQA models on the VQA-v2 dataset demonstrated the efficacy of UniCon, achieving an accuracy of 49.89% in the validation set of VQA-v2. This work is the first study of VQA under the constraint of data confidentiality using self-supervised Split Learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google