VisDiff: SDF-Guided Polygon Generation for Visibility Reconstruction and Recognition

要約

組み合わせ構造の豊富な表現をキャプチャする能力により、フロアプラン、地形、画像、アニメーションの分析や生成などのタスクに機械学習を適用することができました。
最近の研究は主に、明確に定義された機能、近隣、または基礎となる距離メトリックを持つ構造を理解することに焦点を当てていますが、そのような特性を欠くものはほとんど研究されていません。
これらの組み合わせ構造の例は、頂点の位置の小さな変化が、可視性または三角測量グラフとして表される組み合わせ構造の大幅な再配置を引き起こすポリゴンに見られます。
現在の表現学習アプローチは、明確に定義された機能や距離メトリックなしで構造をキャプチャできません。
このホワイトペーパーでは、可視性再構成のオープンな問題を検討します。可視性グラフ$ g $を与えられた場合、視認性グラフが$ g $であるポリゴン$ p $を作成します。
入力可視性グラフ$ g $からポリゴン$ p $を生成するための新しい拡散ベースのアプローチであるVisdiffを紹介します。
私たちのアプローチの主な斬新さは、ポリゴンの頂点セットを直接生成するのではなく、最初にポリゴンに関連付けられた署名距離関数（SDF）を推定することです。
次に、SDFを使用して、最終的なポリゴンを表す頂点の位置を抽出します。
SDFを通過することで、VisDiffが頂点の位置を直接生成するよりもはるかに効果的に視界関係を学習できることを示します。
VisDiffをトレーニングするために、慎重にキュレーションされたデータセットを作成します。
このデータセットを使用して、私たちの方法をベンチマークし、標準的な方法と最先端のアプローチよりもF1スコアで26％の改善を達成します。

要約(オリジナル)

The ability to capture rich representations of combinatorial structures has enabled the application of machine learning to tasks such as analysis and generation of floorplans, terrains, images, and animations. Recent work has primarily focused on understanding structures with well-defined features, neighborhoods, or underlying distance metrics, while those lacking such characteristics remain largely unstudied. Examples of these combinatorial structures can be found in polygons, where a small change in the vertex locations causes a significant rearrangement of the combinatorial structure, expressed as a visibility or triangulation graphs. Current representation learning approaches fail to capture structures without well-defined features and distance metrics. In this paper, we study the open problem of Visibility Reconstruction: Given a visibility graph $G$, construct a polygon $P$ whose visibility graph is $G$. We introduce VisDiff, a novel diffusion-based approach to generate polygon $P$ from the input visibility graph $G$. The main novelty of our approach is that, rather than generating the polygon’s vertex set directly, we first estimate the signed distance function (SDF) associated with the polygon. The SDF is then used to extract the vertex location representing the final polygon. We show that going through the SDF allows VisDiff to learn the visibility relationship much more effectively than generating vertex locations directly. In order to train VisDiff, we create a carefully curated dataset. We use this dataset to benchmark our method and achieve 26% improvement in F1-Score over standard methods as well as state of the art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google