Practicality of generalization guarantees for unsupervised domain adaptation with neural networks

要約

一般化を理解することは、機械学習モデルを自信を持って設計および展開するために不可欠です。展開がデータ ドメインの移行を意味する場合は特に重要です。
このようなドメイン適応問題では、扱いやすく計算可能でタイトな一般化境界を探します。
これらの必要条件に達することができれば、境界は展開における適切なパフォーマンスの保証として機能します。
ただし、ディープ ニューラル ネットワークが最適なモデルであるアプリケーションでは、これらを満たす結果を導き出すことは未解決の課題のままです。
ほとんどの既存の境界は、たとえ好ましい条件であっても、空虚であるか、推定不可能な条件を持っています。
この作業では、深層ニューラル ネットワークが優先されるドメイン適応画像分類タスクに関する要望を満たす可能性のある文献から既存の境界を評価します。
すべての境界は空虚であり、特にこれらの用語がドメインシフトの尺度と相互作用する場合、サンプルの一般化用語が観察された緩みの多くを説明することがわかります。
これを克服し、可能な限り厳密な結果に到達するために、各境界を最近のデータ依存の PAC-Bayes 分析と組み合わせて、保証を大幅に改善します。
ドメインの重複が想定できる場合、以前の研究の単純な重要度の重み付け拡張が、最も厳密な推定可能な境界を提供することがわかりました。
最後に、どの用語が境界を支配しているかを調査し、さらに改善するための方向性を特定します。

要約(オリジナル)

Understanding generalization is crucial to confidently engineer and deploy machine learning models, especially when deployment implies a shift in the data domain. For such domain adaptation problems, we seek generalization bounds which are tractably computable and tight. If these desiderata can be reached, the bounds can serve as guarantees for adequate performance in deployment. However, in applications where deep neural networks are the models of choice, deriving results which fulfill these remains an unresolved challenge; most existing bounds are either vacuous or has non-estimable terms, even in favorable conditions. In this work, we evaluate existing bounds from the literature with potential to satisfy our desiderata on domain adaptation image classification tasks, where deep neural networks are preferred. We find that all bounds are vacuous and that sample generalization terms account for much of the observed looseness, especially when these terms interact with measures of domain shift. To overcome this and arrive at the tightest possible results, we combine each bound with recent data-dependent PAC-Bayes analysis, greatly improving the guarantees. We find that, when domain overlap can be assumed, a simple importance weighting extension of previous work provides the tightest estimable bound. Finally, we study which terms dominate the bounds and identify possible directions for further improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google