Automatic evaluation of herding behavior in towed fishing gear using end-to-end training of CNN and attention-based networks

要約

この論文では、通常、牽引された漁具を取り囲む雑然とした視界の悪い環境における牧畜行動の自動分類について考察します。
この論文では、遠隔操作カメラによってキャプチャされ、釣り技術の専門家によって分類されたビデオ シーケンスの小さなセットでエンドツーエンドでトレーニングされた 3 つの畳み込みおよび注意ベースのディープ アクション認識ネットワーク アーキテクチャを比較します。
シークエンスは、トロール漁船の前で、従来の牧畜機構が指向性レーザー光に置き換えられたシーンを描いています。
目標は、シーケンス内の魚の存在を検出し、魚がレーザーに反応するかどうかを分類することです。
2 ストリーム CNN モデル、CNN トランスフォーマー ハイブリッド、および純粋なトランスフォーマー モデルをエンドツーエンドでトレーニングして、3 クラス タスクで 63%、54%、および 60% の 10 倍の分類精度を達成しました。
人間の専門家。
3 つのネットワークによって学習された活性化マップの検査は、モデルが学習している可能性のあるシーケンスの属性に関する疑問を提起します。具体的には、ビデオ フレーム内のレーザー ラインの位置に影響を与える人間のカメラ オペレーターによって導入された視点の変化が分類に干渉する可能性があるかどうかです。
.
これは、エンドツーエンドの自動評価のために科学データを取得する際の慎重な実験計画の重要性と、トレーニング済みモデルを検査することの有用性を強調しています。

要約(オリジナル)

This paper considers the automatic classification of herding behavior in the cluttered low-visibility environment that typically surrounds towed fishing gear. The paper compares three convolutional and attention-based deep action recognition network architectures trained end-to-end on a small set of video sequences captured by a remotely controlled camera and classified by an expert in fishing technology. The sequences depict a scene in front of a fishing trawl where the conventional herding mechanism has been replaced by directed laser light. The goal is to detect the presence of a fish in the sequence and classify whether or not the fish reacts to the lasers. A two-stream CNN model, a CNN-transformer hybrid, and a pure transformer model were trained end-to-end to achieve 63%, 54%, and 60% 10-fold classification accuracy on the three-class task when compared to the human expert. Inspection of the activation maps learned by the three networks raises questions about the attributes of the sequences the models may be learning, specifically whether changes in viewpoint introduced by human camera operators that affect the position of laser lines in the video frames may interfere with the classification. This underlines the importance of careful experimental design when capturing scientific data for automatic end-to-end evaluation and the usefulness of inspecting the trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google