WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation

要約

キーフレーズ生成は、入力ドキュメントを要約する短いフレーズを自動的に生成することを目的としています。
最近出現した ONE2SET パラダイム (Ye et al., 2021) は、キーフレーズをセットとして生成し、競争力のあるパフォーマンスを達成しています。
それにもかかわらず、特に $\varnothing$ トークンの過大評価 (「対応するキーフレーズがない」ことを意味します) で、ONE2SET によって出力される深刻なキャリブレーション エラーが観察されます。
このホワイト ペーパーでは、この制限を深く分析し、背後にある 2 つの主な理由を特定します。
2) 各スロットにターゲットを割り当てるトレーニング メカニズムは不安定であり、$\varnothing$ トークンの過大評価をさらに悪化させます。
モデルを適切に調整するために、適応型インスタンス レベルのコスト重み付け戦略とターゲット再割り当てメカニズムで ONE2SET を拡張する WR-ONE2SET を提案します。
前者は、さまざまなインスタンスの過大評価されたスロットに動的にペナルティを課し、不均一なトレーニング分布を平滑化します。
後者は、元の不適切な割り当てを改善し、過大評価されたスロットの監視信号を減らします。
一般的に使用されるデータセットに関する実験結果は、提案されたパラダイムの有効性と一般性を示しています。

要約(オリジナル)

Keyphrase generation aims to automatically generate short phrases summarizing an input document. The recently emerged ONE2SET paradigm (Ye et al., 2021) generates keyphrases as a set and has achieved competitive performance. Nevertheless, we observe serious calibration errors outputted by ONE2SET, especially in the over-estimation of $\varnothing$ token (means ‘no corresponding keyphrase’). In this paper, we deeply analyze this limitation and identify two main reasons behind: 1) the parallel generation has to introduce excessive $\varnothing$ as padding tokens into training instances; and 2) the training mechanism assigning target to each slot is unstable and further aggravates the $\varnothing$ token over-estimation. To make the model well-calibrated, we propose WR-ONE2SET which extends ONE2SET with an adaptive instance-level cost Weighting strategy and a target Re-assignment mechanism. The former dynamically penalizes the over-estimated slots for different instances thus smoothing the uneven training distribution. The latter refines the original inappropriate assignment and reduces the supervisory signals of over-estimated slots. Experimental results on commonly-used datasets demonstrate the effectiveness and generality of our proposed paradigm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google