VideoSAM: A Large Vision Foundation Model for High-Speed Video Segmentation

要約

高速ビデオ（HSV）セグメンテーションは、熱伝達などの科学的および産業用途で動的な物理プロセスを分析するために不可欠です。
u-netのような既存のモデルは、一般化と闘い、複雑なバブル層を正確にセグメント化します。
フェーズ検出のために多様なHSVデータセットで微調整されたセグメントAnything Model（SAM）の専門的な適応であるVideoSamを提示します。
多様な実験を通じて、VideoSAMは、複雑なセグメンテーションタスクでU-Netを大幅に上回る、水、FC-72、窒素、およびArgonの4つの流体環境で優れた性能を示しています。
VideoSAMの導入に加えて、位相検出用に設計されたオープンソースHSVセグメンテーションデータセットを提供し、このドメインでの将来の研究を可能にします。
私たちの調査結果は、堅牢で正確なHSVセグメンテーションに新しい標準を設定するVideosamの可能性を強調しています。
この調査で使用されているコードとデータセットは、https：//github.com/chikap421/videosamでオンラインで入手できます。

要約(オリジナル)

High-speed video (HSV) segmentation is essential for analyzing dynamic physical processes in scientific and industrial applications, such as boiling heat transfer. Existing models like U-Net struggle with generalization and accurately segmenting complex bubble formations. We present VideoSAM, a specialized adaptation of the Segment Anything Model (SAM), fine-tuned on a diverse HSV dataset for phase detection. Through diverse experiments, VideoSAM demonstrates superior performance across four fluid environments — Water, FC-72, Nitrogen, and Argon — significantly outperforming U-Net in complex segmentation tasks. In addition to introducing VideoSAM, we contribute an open-source HSV segmentation dataset designed for phase detection, enabling future research in this domain. Our findings underscore VideoSAM’s potential to set new standards in robust and accurate HSV segmentation. The code and dataset used in this study are available online at https://github.com/chikap421/videosam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google