Model Stitching by Functional Latent Alignment

要約

機能的類似性の評価には、独立して訓練されたニューラルネットワークが機能的に類似した表現を学習する度合いを定量化することが含まれます。
これらのネットワークの機能的類似性を確実に推測することは、AIにとって広範囲にわたる影響を伴うオープンな問題のままです。
モデルステッチは有望なパラダイムとして浮上しており、最適なアフィン変換は2つのモデルを調整してタスクを解決し、ステッチされたモデルは機能的類似性のプロキシとして機能します。
この作業では、知識の蒸留文献からインスピレーションを引き出し、モデルステッチの新しい最適性条件として機能的な潜在的アライメント（FULA）を提案します。
以前に機能的な類似性テストベッドを調査し、機能的な類似性の全体的な信頼性の高い方法としてFulaが出現する新しい類似性テストを導入しました。
具体的には、（a）敵対的なトレーニング、（b）ショートカットトレーニング、および（c）クロスレイヤーステッチでの実験は、ファラがステッチレベルのマッチングで見逃されている非自明のアライメントを達成しながら、タスクキューに関するトレーニングに関連するアーティファクトに関係がないことを明らかにしています。

要約(オリジナル)

Evaluating functional similarity involves quantifying the degree to which independently trained neural networks learn functionally similar representations. Reliably inferring the functional similarity of these networks remains an open problem with far-reaching implications for AI. Model stitching has emerged as a promising paradigm, where an optimal affine transformation aligns two models to solve a task, with the stitched model serving as a proxy for functional similarity. In this work, we draw inspiration from the knowledge distillation literature and propose Functional Latent Alignment (FuLA) as a novel optimality condition for model stitching. We revisit previously explored functional similarity testbeds and introduce a new one, based on which FuLA emerges as an overall more reliable method of functional similarity. Specifically, our experiments in (a) adversarial training, (b) shortcut training and, (c) cross-layer stitching, reveal that FuLA is less prone to artifacts tied to training on task cues while achieving non-trivial alignments that are missed by stitch-level matching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google