Structured Language Generation Model for Robust Structure Prediction

要約

我々は、構造化された出力をより一般化するための新しい損失関数と推論方法を組み合わせた構造化言語生成モデル (SLGM) を提案します。
構造予測に関するこれまでの研究 (NER、RE など) では明示的なデータセット情報が利用されており、これによりパフォーマンスが向上しますが、現実の状況では堅牢な一般化に課題が生じる可能性があります。
代わりに、私たちのモデルはデータに関する一般化された形式情報を間接的に提供します。
フォーマット情報を使用すると、損失キャリブレーションとフォーマットされたデコードを通じて、シーケンス間の問題を分類問題に減らすことができます。
実験の結果、SLGM はデータセット情報がなくてもパフォーマンスを正常に維持し、フォーマット エラーがはるかに少ないことがわかりました。
また、追加のトレーニングなしで、モデルが個々のデータセットのアダプターのように機能できることも示しました。

要約(オリジナル)

We propose Structured Language Generation Model (SLGM), a mixture of new loss function and inference method for better generalization of structured outputs. Previous studies on structure prediction (e.g. NER, RE) make use of explicit dataset information, which would boost performance, yet it might pose challenges to robust generalization in real-world situations. Instead, our model gives generalized format information about data indirectly. With format information, we could reduce sequence-to-sequence problem into classification problem via loss calibration and formatted decoding. Our experimental results showed SLGM successfully maintain performance without dataset information, and showed much less format errors. We also showed our model can work like adapters on individual dataset, with no additional training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google