JigsawGAN: Auxiliary Learning for Solving Jigsaw Puzzles with Generative Adversarial Networks

要約

この論文は、ジグソーパズルを解くための生成的敵対的ネットワーク（GAN）に基づく解決策を提案します。
この問題は、画像が等しい正方形の断片に分割されていることを前提としており、断片によって提供された情報に従って画像を復元するように要求します。
従来のジグソーパズルソルバーは、重要な意味情報を無視するピースの境界に基づいて関係を決定することがよくあります。
本論文では、不対画像（初期画像の事前知識なし）でジグソーパズルを解くためのGANベースの補助学習法であるJigsawGANを提案します。
（1）ジグソー順列を分類するための分類ブランチと（2）正しい順序で画像に特徴を復元するためのGANブランチを含むマルチタスクパイプラインを設計します。
分類ブランチは、シャッフルされたピースに従って生成された疑似ラベルによって制約されます。
GANブランチは、画像のセマンティック情報に重点を置いています。ジェネレータは自然な画像を生成して弁別子をだまし、弁別子は特定の画像が合成ドメインに属しているか実際のターゲットドメインに属しているかを区別します。
これらの2つのブランチは、フローベースのワープモジュールによって接続されています。このモジュールは、ワープフィーチャに適用され、分類結果に従って順序を修正します。
提案手法は、意味情報と境界情報の両方を同時に利用することにより、ジグソーパズルをより効率的に解くことができる。
いくつかの代表的なジグソーパズルソルバーに対する定性的および定量的比較は、私たちの方法の優位性を示しています。

要約(オリジナル)

The paper proposes a solution based on Generative Adversarial Network (GAN) for solving jigsaw puzzles. The problem assumes that an image is divided into equal square pieces, and asks to recover the image according to information provided by the pieces. Conventional jigsaw puzzle solvers often determine the relationships based on the boundaries of pieces, which ignore the important semantic information. In this paper, we propose JigsawGAN, a GAN-based auxiliary learning method for solving jigsaw puzzles with unpaired images (with no prior knowledge of the initial images). We design a multi-task pipeline that includes, (1) a classification branch to classify jigsaw permutations, and (2) a GAN branch to recover features to images in correct orders. The classification branch is constrained by the pseudo-labels generated according to the shuffled pieces. The GAN branch concentrates on the image semantic information, where the generator produces the natural images to fool the discriminator, while the discriminator distinguishes whether a given image belongs to the synthesized or the real target domain. These two branches are connected by a flow-based warp module that is applied to warp features to correct the order according to the classification results. The proposed method can solve jigsaw puzzles more efficiently by utilizing both semantic information and boundary information simultaneously. Qualitative and quantitative comparisons against several representative jigsaw puzzle solvers demonstrate the superiority of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google