PARMESAN: Parameter-Free Memory Search and Transduction for Dense Prediction Tasks

要約

この研究では、変換推論によって深層学習の柔軟性に取り組みます。
新しいタスクや新しいデータに適応するために、既存の方法では通常、学習可能なパラメータの調整や、最初から完全な再トレーニングが必要となるため、そのようなアプローチは実際には柔軟性がありません。
私たちは、変換という手段によって計算をメモリから分離するという概念が、これらの問題を解決するための足がかりとして機能すると主張します。
したがって、我々は、高密度予測タスクを解決するためにメモリモジュールを利用するスケーラブルな変換方法であるPARMESAN（パラメータフリーメモリ検索および変換）を提案します。
推論時には、メモリ内の隠された表現が検索され、対応する例が見つかります。
他の方法とは対照的に、PARMESAN は、継続的なトレーニングや学習可能なパラメータの微調整を必要とせず、単にメモリの内容を変更するだけで学習します。
私たちの方法は、一般的に使用されているニューラル アーキテクチャと互換性があり、1D、2D、および 3D グリッドベースのデータに標準的に転送します。
私たちは、継続的学習や数回の学習などの複雑なタスクにおけるアプローチの機能を実証します。
PARMESAN は、一般的なベースラインよりも最大 370 倍速く学習し、予測パフォーマンス、知識の保持、データ効率の点では同等です。

要約(オリジナル)

In this work we address flexibility in deep learning by means of transductive reasoning. For adaptation to new tasks or new data, existing methods typically involve tuning of learnable parameters or even complete re-training from scratch, rendering such approaches unflexible in practice. We argue that the notion of separating computation from memory by the means of transduction can act as a stepping stone for solving these issues. We therefore propose PARMESAN (parameter-free memory search and transduction), a scalable transduction method which leverages a memory module for solving dense prediction tasks. At inference, hidden representations in memory are being searched to find corresponding examples. In contrast to other methods, PARMESAN learns without the requirement for any continuous training or fine-tuning of learnable parameters simply by modifying the memory content. Our method is compatible with commonly used neural architectures and canonically transfers to 1D, 2D, and 3D grid-based data. We demonstrate the capabilities of our approach at complex tasks such as continual and few-shot learning. PARMESAN learns up to 370 times faster than common baselines while being on par in terms of predictive performance, knowledge retention, and data-efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google