Deep Learning on Implicit Neural Representations of Shapes

要約

暗黙的ニューラル表現 (INR) は、画像、ビデオ、オーディオ、3D 形状などのさまざまな信号を継続的にエンコードするための強力なツールとして、ここ数年で登場しました。
INR を 3D 形状に適用すると、これまで使用されてきた一般的な離散表現の断片化と欠点を克服できます。
しかし、INR がニューラル ネットワークで構成されていることを考えると、ダウンストリーム タスクの解決を目的としたディープ ラーニング パイプラインに INR をフィードできるかどうか、またその方法は明らかではありません。
この論文では、この研究課題を提唱し、単一の推論パスで入力 INR のコンパクトな潜在表現を計算できるフレームワークである inr2vec を提案します。
inr2vec が入力 INR によって表される 3D 形状を効果的に埋め込むことができることを確認し、生成された埋め込みを深層学習パイプラインにフィードして、INR のみを処理することによっていくつかのタスクを解決する方法を示します。

要約(オリジナル)

Implicit Neural Representations (INRs) have emerged in the last few years as a powerful tool to encode continuously a variety of different signals like images, videos, audio and 3D shapes. When applied to 3D shapes, INRs allow to overcome the fragmentation and shortcomings of the popular discrete representations used so far. Yet, considering that INRs consist in neural networks, it is not clear whether and how it may be possible to feed them into deep learning pipelines aimed at solving a downstream task. In this paper, we put forward this research problem and propose inr2vec, a framework that can compute a compact latent representation for an input INR in a single inference pass. We verify that inr2vec can embed effectively the 3D shapes represented by the input INRs and show how the produced embeddings can be fed into deep learning pipelines to solve several tasks by processing exclusively INRs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google