k-NN as a Simple and Effective Estimator of Transferability

要約

ドメインがシフトされ、タスクが異なり、アーキテクチャが変化する新しい設定で転送学習が機能することをどれほどうまく期待できますか？
この質問に答えるために、多くの転送学習指標が提案されています。
しかし、現実的な新しい設定での予測はどれほど正確ですか？
16の異なるデータセットにわたって23の転送可能性メトリックを比較する42,000を超える実験を含む広範な評価を実施し、転送パフォーマンスを予測する能力を評価しました。
私たちの調査結果は、既存のメトリックのどれも全体でうまく機能しないことを明らかにしています。
ただし、単純なk-nearest Neightre評価 – 自己監視の機能品質を評価するために一般的に使用されるように、既存のメトリックを上回るだけでなく、より良い計算効率と実装の容易さも提供することがわかります。

要約(オリジナル)

How well can one expect transfer learning to work in a new setting where the domain is shifted, the task is different, and the architecture changes? Many transfer learning metrics have been proposed to answer this question. But how accurate are their predictions in a realistic new setting? We conducted an extensive evaluation involving over 42,000 experiments comparing 23 transferability metrics across 16 different datasets to assess their ability to predict transfer performance. Our findings reveal that none of the existing metrics perform well across the board. However, we find that a simple k-nearest neighbor evaluation — as is commonly used to evaluate feature quality for self-supervision — not only surpasses existing metrics, but also offers better computational efficiency and ease of implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google