Hedging Is Not All You Need: A Simple Baseline for Online Learning Under Haphazard Inputs

要約

エッジ デバイスからのデータなど、無計画なストリーミング データを処理すると、困難な問題が生じます。
時間の経過とともに、受信データに一貫性がなくなり、欠落、欠陥、または新しい入力が再発します。
したがって、信頼性の高いモデルが必要です。
この問題を解決する最近の方法は、ヘッジベースのソリューションに依存しており、補助ドロップアウト、フォーク型アーキテクチャ、複雑なネットワーク設計などの特殊な要素が必要です。
私たちは、ヘッジが加重残余接続の特殊なケースに還元できることを観察しました。
このことが私たちに、単純な自意識でそれに近づく動機を与えました。
この研究では、スケーラブルでオンライン バックプロパゲーションを必要とせず、さまざまな入力タイプに適応できるシンプルなベースラインである HapNet を提案します。
現在のすべての方法は、固定ウィンドウでのスケーリングに制限されています。
ただし、データが位置的に無相関になり、現在の方法では対処できない、変数ウィンドウによるスケーリングというより複雑な問題が発生します。
提案されたアプローチの変形が、この複雑なシナリオでも機能することを示します。
私たちは提案されたアプローチを 5 つのベンチマークで広範囲に評価し、競争力のあるパフォーマンスを確認しました。

要約(オリジナル)

Handling haphazard streaming data, such as data from edge devices, presents a challenging problem. Over time, the incoming data becomes inconsistent, with missing, faulty, or new inputs reappearing. Therefore, it requires models that are reliable. Recent methods to solve this problem depend on a hedging-based solution and require specialized elements like auxiliary dropouts, forked architectures, and intricate network design. We observed that hedging can be reduced to a special case of weighted residual connection; this motivated us to approximate it with plain self-attention. In this work, we propose HapNet, a simple baseline that is scalable, does not require online backpropagation, and is adaptable to varying input types. All present methods are restricted to scaling with a fixed window; however, we introduce a more complex problem of scaling with a variable window where the data becomes positionally uncorrelated, and cannot be addressed by present methods. We demonstrate that a variant of the proposed approach can work even for this complex scenario. We extensively evaluated the proposed approach on five benchmarks and found competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google