Rotation and Translation Invariant Representation Learning with Implicit Neural Representations

要約

多くのコンピュータ ビジョン アプリケーションでは、画像は任意またはランダムな回転と平行移動によって取得されます。そのような設定では、画像の方向から切り離された意味論的な表現を取得することが望ましいです。
このようなアプリケーションの例には、半導体ウェーハの欠陥検​​査、プランクトン顕微鏡画像、単粒子クライオ電子顕微鏡 (クライオ EM) 顕微鏡写真の推論などがあります。
この研究では、暗黙的ニューラル表現による不変表現学習 (IRL-INR) を提案します。これは、ハイパーネットワークで暗黙的ニューラル表現 (INR) を使用して、画像の向きから解きほぐされた意味表現を取得します。
我々は、IRL-INRが従来の研究で検討されていたものと比較して、より複雑な画像上のもつれの解けた意味表現を効果的に学習できることを示し、これらの意味表現がSCANとうまく相乗して最先端の教師なしクラスタリング結果を生成することを示します。

要約(オリジナル)

In many computer vision applications, images are acquired with arbitrary or random rotations and translations, and in such setups, it is desirable to obtain semantic representations disentangled from the image orientation. Examples of such applications include semiconductor wafer defect inspection, plankton microscope images, and inference on single-particle cryo-electron microscopy (cryo-EM) micro-graphs. In this work, we propose Invariant Representation Learning with Implicit Neural Representation (IRL-INR), which uses an implicit neural representation (INR) with a hypernetwork to obtain semantic representations disentangled from the orientation of the image. We show that IRL-INR can effectively learn disentangled semantic representations on more complex images compared to those considered in prior works and show that these semantic representations synergize well with SCAN to produce state-of-the-art unsupervised clustering results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google