UniCon: Unidirectional Split Learning with Contrastive Loss for Visual Question Answering

要約

タイトル：UniCon：対照損失を使用した一方向分離型学習による視覚質問応答

要約：

– 視覚的質問回答（VQA）は、家庭用ロボットや医療診断などの実生活のアプリケーションにおいて、多様なデータを使用することで実現されています。しかし、データ共有が制限されるために機密性に配慮する必要があります。
– UniConは、複数クライアントによるVQAタスクの機密性制約とクライアントのラベル付きトレーニングデータの制限を解決するために提案された手法です。
– UniConは、異なるクライアントの全データ分布でグローバルモデルをトレーニングし、モデル共有を介して洗練されたクロスモーダル表現を学習します。プライバシーは、完全なモデルが独立したトレーニングのために2つのコンポーネントに分割される分割学習アーキテクチャを使用することで確保されます。
– さらに、最近の自己教師付き学習技術は分割学習と非常に互換性が高いことが分かっており、ラベル付きデータがなくても分類タスクを高速で学習できます。
– UniConは、さまざまなローカルタスクからの知識を統合し、知識共有効率を向上させます。VQA-v2データセット上で5つの最新のVQAモデルを使用して包括的な実験が行われ、UniConの効果が実証されました。最高性能のモデルは49.89％の競争力のある精度を達成しました。
– UniConは、クライアントのプライバシーを保護しながら分散データシロにおけるVQAタスクに対処するための有望な解決策を提供しています。

要約(オリジナル)

Visual Question Answering (VQA) using multi-modal data facilitates real-life applications, such as home robots and medical diagnoses. However, one significant challenge is to design a robust learning method for various client tasks. One critical aspect is to ensure privacy, as client data sharing is limited due to confidentiality concerns. This work focuses on addressing the issue of confidentiality constraints in multi-client VQA tasks and limited labeled training data of clients. We propose the Unidirectional Split Learning with Contrastive Loss (UniCon) method to overcome these limitations. The proposed method trains a global model on the entire data distribution of different clients, learning refined cross-modal representations through model sharing. Privacy is ensured by utilizing a split learning architecture in which a complete model is partitioned into two components for independent training. Moreover, recent self-supervised learning techniques were found to be highly compatible with split learning. This combination allows for rapid learning of a classification task without labeled data. Furthermore, UniCon integrates knowledge from various local tasks, improving knowledge sharing efficiency. Comprehensive experiments were conducted on the VQA-v2 dataset using five state-of-the-art VQA models, demonstrating the effectiveness of UniCon. The best-performing model achieved a competitive accuracy of 49.89%. UniCon provides a promising solution to tackle VQA tasks in a distributed data silo setting while preserving client privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI