InfFeed: Influence Functions as a Feedback to Improve the Performance of Subjective Tasks

要約

最近、影響関数は、テスト予測に影響を与える可能性のある個々のトレイン インスタンスの摂動を定量化することにより、ディープ ニューラル モデルの説明可能性を実現する装置を提供します。
この文書の目的は 2 つあります。
まず、影響関数をフィードバックとしてモデルに組み込み、パフォーマンスを向上させます。
2 番目に、データセット拡張の演習で、影響関数を使用して、既存の方法で最初に「シルバー」アノテーションが付けられており、モデルのパフォーマンスを向上させるためにアノテーターによるクロスチェック (および修正) が必要なデータ ポイントを自動的に識別します。
これらの目的を達成するために、このペーパーでは、影響関数を使用してターゲット インスタンスの影響力のあるインスタンスを計算する InfFeed を紹介します。
最初の目的に向けて、インフルエンサーのラベルに基づいてターゲット インスタンスのラベルを調整します。
これにより、InfFeed は、ヘイトスピーチ分類で約 4%、スタンス分類で 3.5%、皮肉で 3%、2% という最大マクロ F1 スコアマージンで、最先端のベースライン (LLM を含む) を上回りました。
皮肉検出用。
2 番目の目的に向けて、拡張セット内のマイナスの影響を持つシルバーのアノテーションが付けられたデータ ポイントのみを手動で再アノテーションすると、モデルのパフォーマンスが大幅に向上し、拡張セット内のすべてのデータ ポイントがゴールドを持つシナリオに非常に近づくことができることを示します。
ラベル。
これにより、シルバーのアノテーションが付けられた拡張データセットから、影響関数スキームによって手動補正が必要な最大 1/1000 のポイントがピックアップされるため、手動でアノテーションを付ける必要があるデータ ポイントの数を大幅に削減できます。

要約(オリジナル)

Recently, influence functions present an apparatus for achieving explainability for deep neural models by quantifying the perturbation of individual train instances that might impact a test prediction. Our objectives in this paper are twofold. First we incorporate influence functions as a feedback into the model to improve its performance. Second, in a dataset extension exercise, using influence functions to automatically identify data points that have been initially `silver’ annotated by some existing method and need to be cross-checked (and corrected) by annotators to improve the model performance. To meet these objectives, in this paper, we introduce InfFeed, which uses influence functions to compute the influential instances for a target instance. Toward the first objective, we adjust the label of the target instance based on its influencer(s) label. In doing this, InfFeed outperforms the state-of-the-art baselines (including LLMs) by a maximum macro F1-score margin of almost 4% for hate speech classification, 3.5% for stance classification, and 3% for irony and 2% for sarcasm detection. Toward the second objective we show that manually re-annotating only those silver annotated data points in the extension set that have a negative influence can immensely improve the model performance bringing it very close to the scenario where all the data points in the extension set have gold labels. This allows for huge reduction of the number of data points that need to be manually annotated since out of the silver annotated extension dataset, the influence function scheme picks up ~1/1000 points that need manual correction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google