MCTS with Refinement for Proposals Selection Games in Scene Understanding

要約

モンテカルロ木探索（MCTS）アルゴリズムを適応させる、多くのシーン理解問題に適用できる新しい方法を提案します。これは、元々、高度な状態の複雑なゲームのプレイを学習するために設計されたものです。
生成された提案のプールから、私たちの方法は、客観的な用語を最小化する提案を共同で選択して最適化します。
点群からのフロアプラン再構築の最初のアプリケーションでは、2Dポリゴンとしてモデル化された部屋の提案を選択して改良します。これは、深いネットワークによって予測される適合性を組み合わせた目的関数を最適化し、部屋の形状の項を正規化することによって行われます。
また、これらの提案の多角形をレンダリングするための新しい微分可能な方法を紹介します。
最近の挑戦的なStructured3DおよびFloor-SPデータセットに対する私たちの評価は、フロアプランの構成に厳しい制約や仮定を課すことなく、最先端のデータセットよりも大幅に改善されていることを示しています。
2番目のアプリケーションでは、アプローチを拡張して、カラー画像から一般的な3D部屋のレイアウトを再構築し、正確な部屋のレイアウトを取得します。
また、微分可能なレンダラーを簡単に拡張して、3D平面ポリゴンやポリゴン埋め込みをレンダリングできることも示しています。
私たちの方法は、部屋のレイアウト構成に厳しい制約を導入することなく、Matterport3D-Layoutデータセットで高いパフォーマンスを示します。

要約(オリジナル)

We propose a novel method applicable in many scene understanding problems that adapts the Monte Carlo Tree Search (MCTS) algorithm, originally designed to learn to play games of high-state complexity. From a generated pool of proposals, our method jointly selects and optimizes proposals that minimize the objective term. In our first application for floor plan reconstruction from point clouds, our method selects and refines the room proposals, modelled as 2D polygons, by optimizing on an objective function combining the fitness as predicted by a deep network and regularizing terms on the room shapes. We also introduce a novel differentiable method for rendering the polygonal shapes of these proposals. Our evaluations on the recent and challenging Structured3D and Floor-SP datasets show significant improvements over the state-of-the-art, without imposing hard constraints nor assumptions on the floor plan configurations. In our second application, we extend our approach to reconstruct general 3D room layouts from a color image and obtain accurate room layouts. We also show that our differentiable renderer can easily be extended for rendering 3D planar polygons and polygon embeddings. Our method shows high performance on the Matterport3D-Layout dataset, without introducing hard constraints on room layout configurations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google