Segment Anything Model (SAM) Meets Glass: Mirror and Transparent Objects Cannot Be Easily Detected

要約

タイトル：Segment Anything Model (SAM) Meets Glass: Mirror and Transparent Objects Cannot Be Easily Detected
要約：
– Meta AI Researchは、10億以上のマスクを含む大規模なセグメンテーションデータセットでトレーニングされたSAM（Segment Anything Model）を最近リリースしました。
– コンピュータビジョンの分野における基礎モデルとして、SAMは一般物体セグメンテーションで印象的な性能を発揮し、ゼロショット転送タスクの幅広い範囲で強力な能力を持っています。
– しかし、鏡や透明なオブジェクトなどのような挑戦的な環境でのSAMの性能はまだ不明でした。
– 本研究では、鏡と透明オブジェクトの2つのガラス関連の挑戦的なシナリオの実証評価を行いました。
– 結果、SAMは両方のシナリオでガラスを検出することができなかったことがわかりました。
– これは、様々な種類のガラスを持つ安全で重要な状況でSAMを展開することに関して懸念を引き起こします。

要約(オリジナル)

Meta AI Research has recently released SAM (Segment Anything Model) which is trained on a large segmentation dataset of over 1 billion masks. As a foundation model in the field of computer vision, SAM (Segment Anything Model) has gained attention for its impressive performance in generic object segmentation. Despite its strong capability in a wide range of zero-shot transfer tasks, it remains unknown whether SAM can detect things in challenging setups like transparent objects. In this work, we perform an empirical evaluation of two glass-related challenging scenarios: mirror and transparent objects. We found that SAM often fails to detect the glass in both scenarios, which raises concern for deploying the SAM in safety-critical situations that have various forms of glass.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI