SegmATRon: Embodied Adaptive Semantic Segmentation for Indoor Environment

要約

この論文では、具体化された画像セマンティック セグメンテーションのための SegmATRon という名前の適応変換モデルを紹介します。
その際立った特徴は、ハイブリッド多成分損失関数を使用して、いくつかの画像の推論中にモデルの重みを適応させることです。
私たちはこのモデルを、フォトリアリスティックな生息地と合成 AI2-THOR シミュレーターで収集されたデータセットで研究しました。
屋内環境でエージェントのアクションを使用して追加の画像を取得すると、セマンティック セグメンテーションの品質が向上する可能性があることを示しました。
提案されたアプローチのコードとデータセットは、https://github.com/wingrune/SegmATRon で公開されています。

要約(オリジナル)

This paper presents an adaptive transformer model named SegmATRon for embodied image semantic segmentation. Its distinctive feature is the adaptation of model weights during inference on several images using a hybrid multicomponent loss function. We studied this model on datasets collected in the photorealistic Habitat and the synthetic AI2-THOR Simulators. We showed that obtaining additional images using the agent’s actions in an indoor environment can improve the quality of semantic segmentation. The code of the proposed approach and datasets are publicly available at https://github.com/wingrune/SegmATRon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google