SCIM: Simultaneous Clustering, Inference, and Mapping for Open-World Semantic Scene Understanding

要約

人間の環境で動作するために、ロボットのセマンティック認識は、新しいオブジェクトやドメイン ギャップなどのオープン ワールドの課題を克服する必要があります。
したがって、そのような環境への自律的な展開には、ロボットが知識を更新し、監視なしで学習する必要があります。
未知の環境を探索する際に、ロボットが新しいセマンティック クラスを自律的に発見し、既知のクラスの精度を向上させる方法を調査します。
この目的のために、マッピングとクラスタリングの一般的なフレームワークを開発し、それを使用して自己教師あり学習信号を生成し、セマンティック セグメンテーション モデルを更新します。
特に、展開中にクラスタリングパラメーターを最適化する方法と、複数の観測モダリティの融合により、以前の研究と比較して新しいオブジェクトの発見が改善されることを示します。
モデル、データ、および実装は、https://github.com/hermannsblum/scim にあります。

要約(オリジナル)

In order to operate in human environments, a robot’s semantic perception has to overcome open-world challenges such as novel objects and domain gaps. Autonomous deployment to such environments therefore requires robots to update their knowledge and learn without supervision. We investigate how a robot can autonomously discover novel semantic classes and improve accuracy on known classes when exploring an unknown environment. To this end, we develop a general framework for mapping and clustering that we then use to generate a self-supervised learning signal to update a semantic segmentation model. In particular, we show how clustering parameters can be optimized during deployment and that fusion of multiple observation modalities improves novel object discovery compared to prior work. Models, data, and implementations can be found at https://github.com/hermannsblum/scim

arxiv情報

提供元, 利用サービス

arxiv.jp, Google