Adaptive Computation with Elastic Input Sequence

要約

問題を解決するとき、人間は、使用する情報の種類、手順、および問題にアプローチして解決するために費やす時間に関して、適応能力を備えています。
ただし、ほとんどの標準的なニューラル ネットワークは、その性質や難易度に関係なく、さまざまなサンプルに対して同じ関数タイプと固定の計算予算を持っています。
適応性は強力なパラダイムであり、これらのモデルの下流での使用に関連する柔軟性を実践者に吹き込むだけでなく、特定の困難なクラスの問題を解決するための強力な帰納的バイアスとしても機能します。
この作業では、アダプティブ テープ トークンを介してニューラル ネットワークでの動的計算を可能にする新しい戦略 AdaTape を提案します。
AdaTape は、既存のアーキテクチャに動的な読み取りおよび書き込みテープを装備することにより、柔軟な入力シーケンスを採用しています。
具体的には、トレーニング可能または入力データから生成できるテープ バンクから取得したテープ トークンを使用して、入力シーケンスを適応的に生成します。
動的シーケンスのコンテンツと長さを取得するための課題と要件を分析し、両方の目的を達成するためのアダプティブ テープ リーダー (ATR) アルゴリズムを提案します。
画像認識タスクに関する広範な実験を通じて、計算コストを維持しながら AdaTape がより優れたパフォーマンスを達成できることを示します。

要約(オリジナル)

When solving a problem, human beings have the adaptive ability in terms of the type of information they use, the procedure they take, and the amount of time they spend approaching and solving the problem. However, most standard neural networks have the same function type and fixed computation budget on different samples regardless of their nature and difficulty. Adaptivity is a powerful paradigm as it not only imbues practitioners with flexibility pertaining to the downstream usage of these models but can also serve as a powerful inductive bias for solving certain challenging classes of problems. In this work, we propose a new strategy, AdaTape, that enables dynamic computation in neural networks via adaptive tape tokens. AdaTape employs an elastic input sequence by equipping an existing architecture with a dynamic read-and-write tape. Specifically, we adaptively generate input sequences using tape tokens obtained from a tape bank that can either be trainable or generated from input data. We analyze the challenges and requirements to obtain dynamic sequence content and length, and propose the Adaptive Tape Reader (ATR) algorithm to achieve both objectives. Via extensive experiments on image recognition tasks, we show that AdaTape can achieve better performance while maintaining the computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google