Abstracting Sketches through Simple Primitives

要約

人間は、オブジェクト情報を迅速に伝達する必要があるゲームで、高レベルの抽象化機能を示します。
メッセージの内容を複数の部分に分解し、解釈可能なプロトコルで通信します。
このような機能をマシンに装備するために、予算の影響下で固定された一連の描画プリミティブを使用してスケッチを表現することを目標とする、プリミティブベースのスケッチ抽象化タスクを提案します。
このタスクを解決するために、Primitive-Matching Network（PMN）は、自己監視方式でスケッチの解釈可能な抽象化を学習します。
具体的には、PMNは、スケッチの各ストロークを特定のセット内の最も類似したプリミティブにマップし、選択したプリミティブをターゲットストロークに揃えるアフィン変換を予測します。
元のスケッチが予測されたプリミティブで正確に再構築されたときに最小である距離変換損失で、このストロークからプリミティブへのマッピングをエンドツーエンドで学習します。
私たちのPMN抽象化は、通信予算が与えられた場合に、スケッチ認識とスケッチベースの画像検索で最高のパフォーマンスを経験的に達成すると同時に、高度に解釈可能です。
これにより、オブジェクトカテゴリを定義する最も関連性の高いプリミティブを抽出してスケッチを比較するなど、スケッチ分析の新しい可能性が開かれます。
コードはhttps://github.com/ExplainableML/sketch-primitivesで入手できます。

要約(オリジナル)

Humans show high-level of abstraction capabilities in games that require quickly communicating object information. They decompose the message content into multiple parts and communicate them in an interpretable protocol. Toward equipping machines with such capabilities, we propose the Primitive-based Sketch Abstraction task where the goal is to represent sketches using a fixed set of drawing primitives under the influence of a budget. To solve this task, our Primitive-Matching Network (PMN), learns interpretable abstractions of a sketch in a self supervised manner. Specifically, PMN maps each stroke of a sketch to its most similar primitive in a given set, predicting an affine transformation that aligns the selected primitive to the target stroke. We learn this stroke-to-primitive mapping end-to-end with a distance-transform loss that is minimal when the original sketch is precisely reconstructed with the predicted primitives. Our PMN abstraction empirically achieves the highest performance on sketch recognition and sketch-based image retrieval given a communication budget, while at the same time being highly interpretable. This opens up new possibilities for sketch analysis, such as comparing sketches by extracting the most relevant primitives that define an object category. Code is available at https://github.com/ExplainableML/sketch-primitives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google