Baking in the Feature: Accelerating Volumetric Segmentation by Rendering Feature Maps

要約

最近、カラー画像のみを使用して 3D ボリュームをクラスに密にセグメント化する方法と、疎な意味的に注釈が付けられたピクセルの形式での専門家の監督が提案されています。
これらの方法は印象的ですが、依然として比較的大量の監視が必要であり、実際にはオブジェクトのセグメント化に数分かかる場合があります。
このようなシステムは通常、以前に見た画像からの事前情報を利用せずに、適合する特定のシーンでの表現のみを最適化します。
この論文では、大規模な既存のデータセットでトレーニングされたモデルで抽出された特徴を使用して、セグメンテーションのパフォーマンスを向上させることを提案します。
この特徴表現を、特徴マップをボリューメトリックにレンダリングし、各入力画像から抽出された特徴を監視することにより、Neural Radiance Field (NeRF) に焼き付けます。
この表現を NeRF に焼き付けることで、その後の分類タスクがはるかに簡単になることを示します。
私たちの実験は、私たちの方法が、幅広いシーンで既存の方法よりも少ないセマンティックアノテーションでより高いセグメンテーション精度を達成することを示しています。

要約(オリジナル)

Methods have recently been proposed that densely segment 3D volumes into classes using only color images and expert supervision in the form of sparse semantically annotated pixels. While impressive, these methods still require a relatively large amount of supervision and segmenting an object can take several minutes in practice. Such systems typically only optimize their representation on the particular scene they are fitting, without leveraging any prior information from previously seen images. In this paper, we propose to use features extracted with models trained on large existing datasets to improve segmentation performance. We bake this feature representation into a Neural Radiance Field (NeRF) by volumetrically rendering feature maps and supervising on features extracted from each input image. We show that by baking this representation into the NeRF, we make the subsequent classification task much easier. Our experiments show that our method achieves higher segmentation accuracy with fewer semantic annotations than existing methods over a wide range of scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google