M3BAT: Unsupervised Domain Adaptation for Multimodal Mobile Sensing with Multi-Branch Adversarial Training

要約

長年にわたり、マルチモーダル モバイル センシングは、健康と幸福、行動、コンテキストに関する推論に広く使用されてきました。
しかし、現実世界のシナリオにおけるそのようなモデルの広範な展開を妨げる重大な課題は、分布の変化の問題です。
これは、トレーニング セット内のデータの分布が、現実世界、つまりデプロイメント環境のデータの分布と異なる現象です。
コンピュータ ビジョンと自然言語処理については広く研究されており、モバイル センシングに関する先行研究ではこの懸念に簡単に対処していますが、現在の研究は主に、音声や加速度計の読み取り値などのデータの単一モダリティを処理するモデルに焦点を当てているため、ほとんどの研究は行われていません。
マルチモーダルセンサーデータを扱う際の教師なしドメイン適応に関する研究。
このギャップに対処するために、私たちはドメイン敵対的ニューラル ネットワーク (DANN) を使用して広範な実験を行い、マルチモーダル センサー データの分布の変化を効果的に処理できることを示しました。
さらに、我々は、複数のブランチでのドメイン適応中のセンサーデータのマルチモーダリティを考慮して、マルチブランチの敵対的トレーニングを伴うマルチモーダルモバイルセンシングのための教師なしドメイン適応である M3BAT と呼ばれる、DANN に対する新しい改善を提案しました。
2 つのマルチモーダル モバイル センシング データセット、3 つの推論タスク、および回帰と分類の両方を含む 14 のソースとターゲットのドメインのペアに対して行われた広範な実験を通じて、私たちのアプローチが目に見えないドメインで効果的に機能することを実証しました。
ソース ドメインでトレーニングされたモデルをターゲット ドメインに直接展開する場合と比較して、このモデルは、分類タスクで最大 12% AUC (受信者動作特性曲線の下の面積)、分類タスクで最大 0.13 MAE (平均絶対誤差) のパフォーマンス向上を示しています。
回帰タスク。

要約(オリジナル)

Over the years, multimodal mobile sensing has been used extensively for inferences regarding health and well being, behavior, and context. However, a significant challenge hindering the widespread deployment of such models in real world scenarios is the issue of distribution shift. This is the phenomenon where the distribution of data in the training set differs from the distribution of data in the real world, the deployment environment. While extensively explored in computer vision and natural language processing, and while prior research in mobile sensing briefly addresses this concern, current work primarily focuses on models dealing with a single modality of data, such as audio or accelerometer readings, and consequently, there is little research on unsupervised domain adaptation when dealing with multimodal sensor data. To address this gap, we did extensive experiments with domain adversarial neural networks (DANN) showing that they can effectively handle distribution shifts in multimodal sensor data. Moreover, we proposed a novel improvement over DANN, called M3BAT, unsupervised domain adaptation for multimodal mobile sensing with multi-branch adversarial training, to account for the multimodality of sensor data during domain adaptation with multiple branches. Through extensive experiments conducted on two multimodal mobile sensing datasets, three inference tasks, and 14 source-target domain pairs, including both regression and classification, we demonstrate that our approach performs effectively on unseen domains. Compared to directly deploying a model trained in the source domain to the target domain, the model shows performance increases up to 12% AUC (area under the receiver operating characteristics curves) on classification tasks, and up to 0.13 MAE (mean absolute error) on regression tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google