Few-shot Event Detection: An Empirical Study and a Unified View

要約

少数ショット イベント検出 (ED) は広く研究されていますが、これは、さまざまな動機、タスク、実験設定など、将来の進歩のためのモデルの理解を妨げる顕著な矛盾をもたらします。この論文では、徹底的な実証研究、統一された分析結果を示しています。
ED モデルのビュー、およびより適切に統合されたベースライン。
公平な評価を行うために、3 つのデータセットで 12 の代表的な手法を比較します。これらのデータセットは、詳細な分析のためにプロンプ​​トベースのモデルとプロトタイプベースのモデルに大まかにグループ化されます。
実験では、ChatGPT を含むプロンプト ベースのメソッドが、全体的なパフォーマンスの点で依然としてプロトタイプ ベースのメソッドに大幅に及ばないことが一貫して証明されています。
その優れたパフォーマンスを調査するために、私たちはいくつかの次元に沿って設計要素を細分化し、プロトタイプベースの手法に基づいた統一フレームワークを構築します。
このような統一されたビューの下では、各プロトタイプ メソッドを、これらの設計要素の異なるモジュールの組み合わせとして見ることができます。
さらに、すべての有利なモジュールを組み合わせて、既存の方法を大幅に上回る、シンプルでありながら効果的なベースラインを提案します（たとえば、低リソース設定で 2.7% の F1 ゲイン）。

要約(オリジナル)

Few-shot event detection (ED) has been widely studied, while this brings noticeable discrepancies, e.g., various motivations, tasks, and experimental settings, that hinder the understanding of models for future progress.This paper presents a thorough empirical study, a unified view of ED models, and a better unified baseline. For fair evaluation, we compare 12 representative methods on three datasets, which are roughly grouped into prompt-based and prototype-based models for detailed analysis. Experiments consistently demonstrate that prompt-based methods, including ChatGPT, still significantly trail prototype-based methods in terms of overall performance. To investigate their superior performance, we break down their design elements along several dimensions and build a unified framework on prototype-based methods. Under such unified view, each prototype-method can be viewed a combination of different modules from these design elements. We further combine all advantageous modules and propose a simple yet effective baseline, which outperforms existing methods by a large margin (e.g., 2.7% F1 gains under low-resource setting).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google