Joint-Modal Label Denoising for Weakly-Supervised Audio-Visual Video Parsing

要約

この論文は、各モダリティに属するすべてのイベントを認識し、それらの時間的境界をローカライズすることを目的とした、弱く監視されたオーディオビジュアルビデオ解析タスクに焦点を当てています。
ビデオ イベントを示す全体的なラベルのみがトレーニング用に提供されるため、このタスクは困難です。
ただし、イベントはラベル付けされていてもモダリティの 1 つに表示されない場合があり、その結果、モダリティ固有のノイズの多いラベルの問題が発生します。
この作業では、モダリティ固有のノイズの多いラベルを動的に識別して削除するためのトレーニング戦略を提案します。
これは、次の 2 つの重要な観察によって動機付けられています。1) ネットワークは最初にクリーンなサンプルを学習する傾向があります。
2) ラベル付けされたイベントは、少なくとも 1 つのモダリティに表示されます。
具体的には、ミニバッチ内のすべてのインスタンスの損失をモダリティごとに個別に並べ替え、モーダル内損失とモーダル間損失の関係に従ってノイズの多いサンプルを選択します。
さらに、信頼度が事前設定されたしきい値を下回るインスタンスの割合を計算することにより、シンプルで有効なノイズ比推定方法も提案します。
私たちの方法は、以前の最先端技術よりも大幅に改善されており (たとえば、セグメント レベルのビジュアル メトリックで 60.0\% から 63.8\% に)、これは私たちのアプローチの有効性を示しています。
コードとトレーニング済みモデルは、\url{https://github.com/MCG-NJU/JoMoLD} で公開されています。

要約(オリジナル)

This paper focuses on the weakly-supervised audio-visual video parsing task, which aims to recognize all events belonging to each modality and localize their temporal boundaries. This task is challenging because only overall labels indicating the video events are provided for training. However, an event might be labeled but not appear in one of the modalities, which results in a modality-specific noisy label problem. In this work, we propose a training strategy to identify and remove modality-specific noisy labels dynamically. It is motivated by two key observations: 1) networks tend to learn clean samples first; and 2) a labeled event would appear in at least one modality. Specifically, we sort the losses of all instances within a mini-batch individually in each modality, and then select noisy samples according to the relationships between intra-modal and inter-modal losses. Besides, we also propose a simple but valid noise ratio estimation method by calculating the proportion of instances whose confidence is below a preset threshold. Our method makes large improvements over the previous state of the arts (e.g. from 60.0\% to 63.8\% in segment-level visual metric), which demonstrates the effectiveness of our approach. Code and trained models are publicly available at \url{https://github.com/MCG-NJU/JoMoLD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google