Ignorance is Bliss: Robust Control via Information Gating

要約

情報の倹約 (つまり、タスクに必要な最小限の情報を使用する) は、ノイズや疑似相関に対してロバストであることにより、より優れた一般化を達成する表現を学習するための有用な帰納的バイアスを提供します。
より倹約的な表現を学習する方法として、ピクセル空間での情報ゲーティングを提案します。
情報ゲーティングは、特定のタスクを解決するために必要な最小限の情報のみをキャプチャするマスクを学習することによって機能します。
直感的に、私たちのモデルは、特定のタスクにとって実際に重要な視覚的合図を特定することを学習します。
信号対雑音比の微分可能なパラメーター化を使用して情報をゲートします。これは、ネットワーク内の任意の値に適用できます。たとえば、入力レイヤーでピクセルをマスクします。
InfoGating と呼ばれるアプローチを、マルチステップ フォワードおよびインバース ダイナミクス、Q ラーニング、行動のクローニング、標準的な自己監視タスクなどのさまざまな目的に適用します。
私たちの実験では、最小限の情報を識別して使用することを学習することで、ダウンストリーム タスクの一般化を改善できることが示されています。

要約(オリジナル)

Informational parsimony — i.e., using the minimal information required for a task, — provides a useful inductive bias for learning representations that achieve better generalization by being robust to noise and spurious correlations. We propose information gating in the pixel space as a way to learn more parsimonious representations. Information gating works by learning masks that capture only the minimal information required to solve a given task. Intuitively, our models learn to identify which visual cues actually matter for a given task. We gate information using a differentiable parameterization of the signal-to-noise ratio, which can be applied to arbitrary values in a network, e.g.~masking out pixels at the input layer. We apply our approach, which we call InfoGating, to various objectives such as: multi-step forward and inverse dynamics, Q-learning, behavior cloning, and standard self-supervised tasks. Our experiments show that learning to identify and use minimal information can improve generalization in downstream tasks — e.g., policies based on info-gated images are considerably more robust to distracting/irrelevant visual features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google