On the Pitfalls of Batch Normalization for End-to-End Video Learning: A Study on Surgical Workflow Analysis

要約

バッチ内の他のサンプルに依存するバッチ正規化 (BN) の固有の特性は、シーケンス モデリングを含むいくつかのタスクで問題を引き起こすことが知られています。
しかし、特徴抽出のために CNN (畳み込みニューラル ネットワーク) で BN が広く使用されているにもかかわらず、BN 関連の問題は長時間ビデオの理解についてほとんど研究されていません。
特に外科ワークフロー分析では、事前トレーニングされた特徴抽出器の欠如により複雑な多段階トレーニング パイプラインが必要となり、BN の問題に対する認識が限定的であるため、CNN と時間モデルをエンドツーエンドでトレーニングする利点が隠れている可能性があります。
この論文では、予測における「不正行為」効果など、オンライン タスクに特有の問題を含め、ビデオ学習における BN の落とし穴を分析します。
BN の特性がエンドツーエンドの学習に大きな障害を引き起こすことがわかりました。
ただし、BN フリーのバックボーンを使用すると、単純な CNN-LSTM であっても、時間的コンテキストを最大化する適切なエンドツーエンドのトレーニング戦略を利用することで、{\color{\colorrevtwo}3 つの外科ワークフロー ベンチマークで最先端} を上回ります。
私たちは、BN の落とし穴を認識することが、外科的タスクにおける効果的なエンドツーエンド学習にとって重要であると結論付けています。
自然動画データセットで結果を再現することで、私たちの洞察が動画学習の他の分野にも役立つことを期待しています。
コードは \url{https://gitlab.com/nct_tso_public/pitfalls_bn} で入手できます。

要約(オリジナル)

Batch Normalization’s (BN) unique property of depending on other samples in a batch is known to cause problems in several tasks, including sequence modeling. Yet, BN-related issues are hardly studied for long video understanding, despite the ubiquitous use of BN in CNNs (Convolutional Neural Networks) for feature extraction. Especially in surgical workflow analysis, where the lack of pretrained feature extractors has led to complex, multi-stage training pipelines, limited awareness of BN issues may have hidden the benefits of training CNNs and temporal models end to end. In this paper, we analyze pitfalls of BN in video learning, including issues specific to online tasks such as a ‘cheating’ effect in anticipation. We observe that BN’s properties create major obstacles for end-to-end learning. However, using BN-free backbones, even simple CNN-LSTMs beat the state of the art {\color{\colorrevtwo}on three surgical workflow benchmarks} by utilizing adequate end-to-end training strategies which maximize temporal context. We conclude that awareness of BN’s pitfalls is crucial for effective end-to-end learning in surgical tasks. By reproducing results on natural-video datasets, we hope our insights will benefit other areas of video learning as well. Code is available at: \url{https://gitlab.com/nct_tso_public/pitfalls_bn}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google