TextSLAM: Visual SLAM with Semantic Planar Text Features

要約

我々は、テキストオブジェクトを意味的特徴として扱い、その幾何学的および意味的事前分布を完全に探索することで、テキストオブジェクトを緊密に統合する新しい視覚的SLAM手法を提案する。テキストオブジェクトは、テクスチャが豊富な平面パッチとしてモデル化され、その意味的意味は、より良いデータ関連付けのために、その場で抽出され更新される。テキストオブジェクトの局所的な平面特性と意味的な意味を完全に探索することで、SLAMシステムは、画像のブレ、大きな視点変化、大きな照明変化（昼夜）などの困難な条件下でも、より正確で頑健になる。我々は、グラウンドトゥルースデータを用いて、様々なシーンで本手法をテストした。その結果、テクスチャ特徴を統合することで、昼夜を問わず画像を一致させることができる、より優れたSLAMシステムになることが示された。再構成されたセマンティック3Dテキストマップは、ロボットや複合現実感アプリケーションにおけるナビゲーションやシーン理解に役立つ可能性がある。プロジェクトページ：https://github.com/SJTU-ViSYS/TextSLAM .

要約(オリジナル)

We propose a novel visual SLAM method that integrates text objects tightly by treating them as semantic features via fully exploring their geometric and semantic prior. The text object is modeled as a texture-rich planar patch whose semantic meaning is extracted and updated on the fly for better data association. With the full exploration of locally planar characteristics and semantic meaning of text objects, the SLAM system becomes more accurate and robust even under challenging conditions such as image blurring, large viewpoint changes, and significant illumination variations (day and night). We tested our method in various scenes with the ground truth data. The results show that integrating texture features leads to a more superior SLAM system that can match images across day and night. The reconstructed semantic 3D text map could be useful for navigation and scene understanding in robotic and mixed reality applications. Our project page: https://github.com/SJTU-ViSYS/TextSLAM .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL