Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by Tracing their Contributions

要約

ニューラル ネットワークが信号の連続表現としてトレーニングされる暗黙的ニューラル表現 (INR) のさまざまなバリエーションは、新しいビュー合成、ビデオ圧縮、画像の超解像度などの下流タスクに多大な実用性をもたらします。
残念ながら、これらのネットワークの内部構造は十分に研究されていません。
私たちの研究である Implicit Neural Canvas (XINC) の説明は、各出力ピクセルに対する各ニューロンの寄与の強さを調べることによって INR のプロパティを説明するための統一フレームワークです。
私たちは、これらの寄与マップの集合体を Implicit Neural Canvas と呼び、この概念を使用して、研究対象の INR が、驚くべき方法でそれらが表すフレームを「見る」ことを学習することを実証します。
たとえば、INR は高度に分散された表現を持つ傾向があります。
高レベルのオブジェクト セマンティクスは欠如していますが、色とエッジに大きな偏りがあり、ほぼ完全に空間に依存しません。
私たちは、クラスタリングを使用してレイヤーやアーキテクチャ全体で同様のニューロンを視覚化し、これが動きによって支配されていることを示し、ビデオ INR 内で時間の経過とともにオブジェクトがどのように表現されるかを調べることで結論に達しました。
これらの洞察は、分析フレームワークの一般的な有用性を示しています。
私たちのプロジェクト ページは https://namithap10.github.io/xinc から入手できます。

要約(オリジナル)

The many variations of Implicit Neural Representations (INRs), where a neural network is trained as a continuous representation of a signal, have tremendous practical utility for downstream tasks including novel view synthesis, video compression, and image superresolution. Unfortunately, the inner workings of these networks are seriously under-studied. Our work, eXplaining the Implicit Neural Canvas (XINC), is a unified framework for explaining properties of INRs by examining the strength of each neuron’s contribution to each output pixel. We call the aggregate of these contribution maps the Implicit Neural Canvas and we use this concept to demonstrate that the INRs which we study learn to ”see” the frames they represent in surprising ways. For example, INRs tend to have highly distributed representations. While lacking high-level object semantics, they have a significant bias for color and edges, and are almost entirely space-agnostic. We arrive at our conclusions by examining how objects are represented across time in video INRs, using clustering to visualize similar neurons across layers and architectures, and show that this is dominated by motion. These insights demonstrate the general usefulness of our analysis framework. Our project page is available at https://namithap10.github.io/xinc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google