ModelDiff: A Framework for Comparing Learning Algorithms

要約

(学習) アルゴリズムの比較の問題を研究します。ここでの目標は、2 つの異なる学習アルゴリズムでトレーニングされたモデル間の違いを見つけることです。
この目標を、際立った特徴変換、つまり、1 つの学習アルゴリズムでトレーニングされたモデルの予測を変更し、他のアルゴリズムでは変更しない入力変換を見つけることの 1 つとして形式化することから始めます。
次に、datamodels フレームワーク (Ilyas et al., 2022) を活用して、トレーニング データの使用方法に基づいて学習アルゴリズムを比較する ModelDiff を紹介します。
データ拡張あり/なし、事前トレーニングあり/なし、およびさまざまな SGD ハイパーパラメータを使用してトレーニングされたモデルを比較し、3 つのケース スタディを通じて ModelDiff を示します。
コードは https://github.com/MadryLab/modeldiff で入手できます。

要約(オリジナル)

We study the problem of (learning) algorithm comparison, where the goal is to find differences between models trained with two different learning algorithms. We begin by formalizing this goal as one of finding distinguishing feature transformations, i.e., input transformations that change the predictions of models trained with one learning algorithm but not the other. We then present ModelDiff, a method that leverages the datamodels framework (Ilyas et al., 2022) to compare learning algorithms based on how they use their training data. We demonstrate ModelDiff through three case studies, comparing models trained with/without data augmentation, with/without pre-training, and with different SGD hyperparameters. Our code is available at https://github.com/MadryLab/modeldiff .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google