A lightweight Transformer-based model for fish landmark detection

要約

ビジョン トランスフォーマー (ViT) などのトランスフォーマー ベースのモデルは、十分なトレーニング データがある場合、一部のビジョン タスクで、革命的ニューラル ネットワーク (CNN) よりも優れたパフォーマンスを発揮します。
ただし、(CNN) には、ビジョン タスクに対して強力で有用な誘導バイアスがあります (つまり、翻訳の等価性と局所性)。
この作業では、モバイル魚ランドマーク検出ネットワーク (MFLD-net) と呼ばれる新しいモデル アーキテクチャを開発しました。
このモデルは、ViT に基づく畳み込み演算 (つまり、パッチの埋め込み、多層パーセプトロン) を使用して作成されました。
MFLD-net は軽量であるため、組み込みデバイスやモバイル デバイスに適しています。
さらに、MFLD-net が魚画像データセットの最先端 (CNN) の一部と同等またはそれ以上のキーポイント (ランドマーク) 推定精度を達成できることを示します。
さらに、ViT とは異なり、MFLD-net は事前にトレーニングされたモデルを必要とせず、小規模なデータセットでトレーニングするとうまく一般化できます。
モデルの一般化機能を示す定量的および定性的な結果を提供します。
この作業は、モバイルでありながら効率的な魚の監視システムとデバイスを開発するための将来の取り組みの基盤を提供します。

要約(オリジナル)

Transformer-based models, such as the Vision Transformer (ViT), can outperform onvolutional Neural Networks (CNNs) in some vision tasks when there is sufficient training data. However, (CNNs) have a strong and useful inductive bias for vision tasks (i.e. translation equivariance and locality). In this work, we developed a novel model architecture that we call a Mobile fish landmark detection network (MFLD-net). We have made this model using convolution operations based on ViT (i.e. Patch embeddings, Multi-Layer Perceptrons). MFLD-net can achieve competitive or better results in low data regimes while being lightweight and therefore suitable for embedded and mobile devices. Furthermore, we show that MFLD-net can achieve keypoint (landmark) estimation accuracies on-par or even better than some of the state-of-the-art (CNNs) on a fish image dataset. Additionally, unlike ViT, MFLD-net does not need a pre-trained model and can generalise well when trained on a small dataset. We provide quantitative and qualitative results that demonstrate the model’s generalisation capabilities. This work will provide a foundation for future efforts in developing mobile, but efficient fish monitoring systems and devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google