Semantic Frame Induction with Deep Metric Learning

要約

タイトル：深層メトリック学習を用いた意味フレーム誘導

要約：

– コンテキスト化された単語のエンベディングを用いた無教師学習の意味フレーム誘導は有用性が認められているが、一方で人間の直感に合わない場合があり、不十分な性能を引き起こすことが明らかになった。
– 本論文では、コーパス内のサブセットの述語についてフレーム注釈データが存在すると仮定して、注釈付きデータを活用して意味フレーム誘導を行う「監督付き意味フレーム誘導」に取り組む。
– 深層メトリック学習を用いてコンテキスト化されたエンベディングモデルを微調整し、微調整されたコンテキスト化されたエンベディングを使用して意味フレーム誘導を行うモデルを提案する。
– FrameNetでの実験結果は、深層メトリック学習による微調整が、B-cubed F-scoreやPurity F-scoreなどのクラスタリング評価スコアを約8ポイント以上改善することを示した。
– さらに、トレーニングインスタンスの数が少なくても、アプローチが効果的であることを示している。

要約(オリジナル)

Recent studies have demonstrated the usefulness of contextualized word embeddings in unsupervised semantic frame induction. However, they have also revealed that generic contextualized embeddings are not always consistent with human intuitions about semantic frames, which causes unsatisfactory performance for frame induction based on contextualized embeddings. In this paper, we address supervised semantic frame induction, which assumes the existence of frame-annotated data for a subset of predicates in a corpus and aims to build a frame induction model that leverages the annotated data. We propose a model that uses deep metric learning to fine-tune a contextualized embedding model, and we apply the fine-tuned contextualized embeddings to perform semantic frame induction. Our experiments on FrameNet show that fine-tuning with deep metric learning considerably improves the clustering evaluation scores, namely, the B-cubed F-score and Purity F-score, by about 8 points or more. We also demonstrate that our approach is effective even when the number of training instances is small.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI