Influence functions and regularity tangents for efficient active learning

要約

この論文では、回帰モデルにそのデータに対する好奇心を感じる効率的な方法について説明します。
機械学習の分野では、好奇心を表現するための枠組みはアクティブ学習と呼ばれます。これは、半監視設定でラベルを照会するデータポイントを自動的に選択する問題に関係しています。
私たちが提案する方法は、トレーニング中にモデルのパラメーターベクトルとともに（一定のスローダウンのみ）計算できる「規則性の接線」ベクトルの計算に基づいています。
次に、特定のデータポイントでモデルの損失の勾配ベクトルを使用して、この接線ベクトルの内部積を取り、モデルの複雑さに対するその点の影響の尺度を取得します。
最も単純なインスタンスでは、パラメーターベクトルと同じ次元の単一の規則性の接線ベクトルのみがあります。
したがって、提案された手法では、トレーニングが完了すると、潜在的なクエリデータポイントに関する「好奇心」を評価することは、その時点でモデルの損失勾配を計算するのと同じように迅速に実行できます。
新しいベクトルは、モデルに必要なストレージの量を2倍にします。
私たちの手法によって計算された数量は、「影響力」の例であり、特定のデータポイントを上にして発生するモデルの複雑さの予想される二乗変化を測定することを示します。
これやその他の関連数量を使用して、回帰モデルの新しいトレーニングデータポイントを選択するための多くの方法を提案します。

要約(オリジナル)

In this paper we describe an efficient method for providing a regression model with a sense of curiosity about its data. In the field of machine learning, our framework for representing curiosity is called Active Learning, which concerns the problem of automatically choosing data points for which to query labels in the semi-supervised setting. The methods we propose are based on computing a ‘regularity tangent’ vector that can be calculated (with only a constant slow-down) together with the model’s parameter vector during training. We then take the inner product of this tangent vector with the gradient vector of the model’s loss at a given data point to obtain a measure of the influence of that point on the complexity of the model. In the simplest instantiation, there is only a single regularity tangent vector, of the same dimension as the parameter vector. Thus, in the proposed technique, once training is complete, evaluating our ‘curiosity’ about a potential query data point can be done as quickly as calculating the model’s loss gradient at that point. The new vector only doubles the amount of storage required by the model. We show that the quantity computed by our technique is an example of an ‘influence function’, and that it measures the expected squared change in model complexity incurred by up-weighting a given data point. We propose a number of ways for using this and other related quantities to choose new training data points for a regression model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google