Few-shot Event Detection: An Empirical Study and a Unified View

要約

タイトル：Few-shot Event Detection: An Empirical Study and a Unified View（少数派イベント検出：実証研究と統一的な見方）

要約：

– 少数派イベント検出（ED）には、さまざまな目的、タスク、実験的設定があるため、モデルの理解を妨げる顕著な相違点がある。
– この論文では、実証的研究、EDモデルの統一的な見方、および統一ベースラインを提示する。
– 公正な評価のために、低リソース設定で一般化能力を評価するための2つの設定と、転移性を評価するためのクラス転送設定を選択する。
– Prompt-basedとPrototype-basedモデルに分類される3つのデータセットで10の代表的な方法を比較し、詳細な分析を行う。
– Prototype-based方法の優れたパフォーマンスを調べるために、設計を分解し、統一的なフレームワークを構築する。
– その基礎になったことにより、単純で効果的な方法（例えば、低リソース設定で2.7％F1の向上）を提案するだけでなく、将来の研究のための多くの貴重な研究洞察を提供する。

要約(オリジナル)

Few-shot event detection (ED) has been widely studied, while this brings noticeable discrepancies, e.g., various motivations, tasks, and experimental settings, that hinder the understanding of models for future progress. This paper presents a thorough empirical study, a unified view of ED models, and a better unified baseline. For fair evaluation, we choose two practical settings: low-resource setting to assess generalization ability and class-transfer setting for transferability. We compare ten representative methods on three datasets, which are roughly grouped into prompt-based and prototype-based models for detailed analysis. To investigate the superior performance of prototype-based methods, we break down the design and build a unified framework. Based on that, we not only propose a simple yet effective method (e.g., 2.7% F1 gains under low-resource setting) but also offer many valuable research insights for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI