Reverse Probing: Evaluating Knowledge Transfer via Finetuned Task Embeddings for Coreference Resolution

要約

この作業では、単純なソースからより複雑なターゲットタスクへの知識移転を評価するために、古典的な調査を再考します。
多様な単純なターゲットプロービングタスクの複雑なソースタスクから凍結表現を調査する代わりに（通常はプロービングで行われるように）、単一のターゲットタスク上の複数の単純なソースタスクからの埋め込みの有効性を調査します。
焦点ターゲットタスクとしてコンテキストの理解を必要とする言語的に複雑な問題であるコアレファレンス解像度を選択し、パラフラーズ検出、エンティティ認識、関係抽出などの比較的単純なタスクタスクからの埋め込みの有用性をテストします。
体系的な実験を通じて、個々のタスク埋め込みの影響を評価します。
私たちの調査結果は、タスクの埋め込みのコアレーション解像度のユーティリティが大幅に異なることを明らかにしており、セマンティックな類似性タスク（たとえば、言い換え検出）が最も有益であることが証明されています。
さらに、微調整されたモデルの中間層からの表現は、多くの場合、最終層のモデルよりも優れています。
複数のタスクからの埋め込みを組み合わせると、パフォーマンスが一貫して改善され、注意ベースの集約により大きな利益が得られます。
これらの洞察は、タスク固有の表現と複雑なダウンストリームタスクへの適応性との関係に光を当て、埋め込みレベルのタスク転送のさらなる調査を促進しました。

要約(オリジナル)

In this work, we reimagine classical probing to evaluate knowledge transfer from simple source to more complex target tasks. Instead of probing frozen representations from a complex source task on diverse simple target probing tasks (as usually done in probing), we explore the effectiveness of embeddings from multiple simple source tasks on a single target task. We select coreference resolution, a linguistically complex problem requiring contextual understanding, as focus target task, and test the usefulness of embeddings from comparably simpler tasks tasks such as paraphrase detection, named entity recognition, and relation extraction. Through systematic experiments, we evaluate the impact of individual and combined task embeddings. Our findings reveal that task embeddings vary significantly in utility for coreference resolution, with semantic similarity tasks (e.g., paraphrase detection) proving most beneficial. Additionally, representations from intermediate layers of fine-tuned models often outperform those from final layers. Combining embeddings from multiple tasks consistently improves performance, with attention-based aggregation yielding substantial gains. These insights shed light on relationships between task-specific representations and their adaptability to complex downstream tasks, encouraging further exploration of embedding-level task transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google