Learning the Space of Deep Models

要約

画像やテキストなどの大規模で冗長なデータを低次元空間の階層に埋め込むことは、表現学習アプローチの重要な機能の1つであり、今日では、困難または不可能と考えられていた問題に対する最先端のソリューションを提供します。
解決する。
この作業では、強いメタ後味のあるプロットツイストで、トレーニングされたディープモデルが、処理するために最適化されたデータと同じくらい冗長であり、したがって、ディープラーニングモデルを使用してディープラーニングモデルを埋め込むことができる方法を示します。
特に、表現学習を使用して、訓練された深層モデルの固定サイズの低次元埋め込み空間を学習することが可能であり、そのような空間を補間または最適化によって探索して、すぐに使用できるモデルを実現できることを示します。
同じアーキテクチャの複数のインスタンスと複数のアーキテクチャの埋め込みスペースを学習することが可能であることがわかります。
画像分類と信号の神経表現に取り組み、それぞれパフォーマンスと3D形状の概念をキャプチャするために埋め込み空間を学習する方法を示します。
マルチアーキテクチャ設定では、アーキテクチャのサブセットでのみトレーニングされた埋め込みが、トレーニング時にインスタンス化されることのない、すでにトレーニングされたアーキテクチャのインスタンスを生成する方法を学習する方法も示します。

要約(オリジナル)

Embedding of large but redundant data, such as images or text, in a hierarchy of lower-dimensional spaces is one of the key features of representation learning approaches, which nowadays provide state-of-the-art solutions to problems once believed hard or impossible to solve. In this work, in a plot twist with a strong meta aftertaste, we show how trained deep models are as redundant as the data they are optimized to process, and how it is therefore possible to use deep learning models to embed deep learning models. In particular, we show that it is possible to use representation learning to learn a fixed-size, low-dimensional embedding space of trained deep models and that such space can be explored by interpolation or optimization to attain ready-to-use models. We find that it is possible to learn an embedding space of multiple instances of the same architecture and of multiple architectures. We address image classification and neural representation of signals, showing how our embedding space can be learnt so as to capture the notions of performance and 3D shape, respectively. In the Multi-Architecture setting we also show how an embedding trained only on a subset of architectures can learn to generate already-trained instances of architectures it never sees instantiated at training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google