Rotation and Translation Invariant Representation Learning with Implicit Neural Representations

要約

タイトル：暗黙的ニューラル表現での回転および移動不変表現学習
要約：

– コンピュータビジョンの多くのアプリケーションでは、画像は任意またはランダムな回転や移動で取得されます。
– このような状況では、画像の向きから分離した意味的表現を取得することが望まれます。
– 本論文では、回転と移動に不変な意味的表現を得るために、暗黙的ニューラル表現（IRL-INR）を提案しています。
– IRL-INRは、ハイパーネットワークを使用した暗黙的なニューラル表現（INR）を使用して、画像の向きから分離された意味的表現を効果的に学習できます。
– 本論文の方が以前の論文で考慮されたより複雑な画像においても、効果的に分離された意味的表現を習得できることが示されています。
– また、これらの意味的表現は、SCANと相乗効果を発揮し、最先端の非監視クラスタリング結果を生み出すことが示されています。

要約(オリジナル)

In many computer vision applications, images are acquired with arbitrary or random rotations and translations, and in such setups, it is desirable to obtain semantic representations disentangled from the image orientation. Examples of such applications include semiconductor wafer defect inspection, plankton microscope images, and inference on single-particle cryo-electron microscopy (cryo-EM) micro-graphs. In this work, we propose Invariant Representation Learning with Implicit Neural Representation (IRL-INR), which uses an implicit neural representation (INR) with a hypernetwork to obtain semantic representations disentangled from the orientation of the image. We show that IRL-INR can effectively learn disentangled semantic representations on more complex images compared to those considered in prior works and show that these semantic representations synergize well with SCAN to produce state-of-the-art unsupervised clustering results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI