The Extrapolation Power of Implicit Models

要約

この論文では、従来のディープ ニューラル ネットワークが失敗する可能性がある、観測されていないデータを処理する際の暗黙的ディープ ラーニング モデルの外挿機能を調査します。
層の深さの適応性と計算グラフ内へのフィードバックの組み込みによって区別される暗黙的モデルは、分布外、地理的、時間的シフトなどのさまざまな外挿シナリオにわたってテストされます。
私たちの実験では、陰的モデルを使用するとパフォーマンスが大幅に向上することが一貫して実証されています。
各タスクの綿密なアーキテクチャ設計に依存することが多い非暗黙的モデルとは異なり、暗黙的モデルは、タスク固有の設計を必要とせずに複雑なモデル構造を学習する機能を実証し、目に見えないデータの処理における堅牢性を強調しています。

要約(オリジナル)

In this paper, we investigate the extrapolation capabilities of implicit deep learning models in handling unobserved data, where traditional deep neural networks may falter. Implicit models, distinguished by their adaptability in layer depth and incorporation of feedback within their computational graph, are put to the test across various extrapolation scenarios: out-of-distribution, geographical, and temporal shifts. Our experiments consistently demonstrate significant performance advantage with implicit models. Unlike their non-implicit counterparts, which often rely on meticulous architectural design for each task, implicit models demonstrate the ability to learn complex model structures without the need for task-specific design, highlighting their robustness in handling unseen data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google