Holistically-Attracted Wireframe Parsing: From Supervised to Self-Supervised Learning

要約

このホワイト ペーパーでは、完全教師あり学習パラダイムと自己教師あり学習パラダイムの両方を使用した 2D 画像の全体論的に引き付けられたワイヤフレーム解析 (HAWP) について説明します。
中核となるのは、閉じた形式の 4D 幾何学的ベクトルを使用して線分をエンコードする節約的な表現です。これにより、ワイヤーフレームの線分を、ジオメトリ認識、コンテキストが組み込まれたエンドツーエンドのトレーニング可能な全体的な魅力フィールドに持ち上げることができます。
認知度と堅牢性。
提案された HAWP は、線分と終点の提案の生成、線分と終点の結合、および終点と切り離された対象線の検証の 3 つのコンポーネントで構成されます。
自己教師あり学習の場合、シミュレーションから現実へのパイプラインが利用されます。このパイプラインでは、HAWP が最初に合成データを使用してトレーニングされ、次にホモグラフィック アダプテーションを使用して実画像のワイヤーフレームに「注釈を付ける」ために使用されます。
自己教師ありアノテーションを使用して、実画像の HAWP モデルをゼロからトレーニングします。
実験では、提案された HAWP は、ワイヤーフレーム データセットと YorkUrban データセットの両方で、完全教師あり学習で最先端のパフォーマンスを達成します。
また、自己教師あり学習のはるかに効率的なトレーニングにより、従来の技術よりもはるかに優れた再現性スコアを示しています。
さらに、自己管理型 HAWP は、面倒なワイヤーフレーム ラベルを使用せずに一般的なワイヤーフレームを解析できる大きな可能性を示しています。

要約(オリジナル)

This paper presents Holistically-Attracted Wireframe Parsing (HAWP) for 2D images using both fully supervised and self-supervised learning paradigms. At the core is a parsimonious representation that encodes a line segment using a closed-form 4D geometric vector, which enables lifting line segments in wireframe to an end-to-end trainable holistic attraction field that has built-in geometry-awareness, context-awareness and robustness. The proposed HAWP consists of three components: generating line segment and end-point proposal, binding line segment and end-point, and end-point-decoupled lines-of-interest verification. For self-supervised learning, a simulation-to-reality pipeline is exploited in which a HAWP is first trained using synthetic data and then used to “annotate’ wireframes in real images with Homographic Adaptation. With the self-supervised annotations, a HAWP model for real images is trained from scratch. In experiments, the proposed HAWP achieves state-of-the-art performance in both the Wireframe dataset and the YorkUrban dataset in fully-supervised learning. It also demonstrates a significantly better repeatability score than prior arts with much more efficient training in self-supervised learning. Furthermore, the self-supervised HAWP shows great potential for general wireframe parsing without onerous wireframe labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google