Dialogue Ontology Relation Extraction via Constrained Chain-of-Thought Decoding

要約

最先端のタスク指向対話システムは通常、ユーザーのクエリを満たすためにタスク固有のオントロジーに依存しています。
顧客サービスの記録など、タスク指向の対話データの大部分には、オントロジーやアノテーションが含まれていません。
このようなオントロジーは通常手動で構築されるため、特殊なシステムの適用が制限されます。
対話オントロジーの構築は、そのプロセスを自動化するためのアプローチであり、通常、用語抽出と関係抽出の 2 つのステップで構成されます。
この作業では、転移学習セットアップにおける関係抽出に焦点を当てます。
一般化を改善するために、大規模な言語モデルのデコード メカニズムの拡張を提案します。
推論問題のために最近開発された思考連鎖 (CoT) デコーディングを生成関係の抽出に適用します。
ここでは、デコード空間に複数の分岐を生成し、信頼度のしきい値に基づいて関係を選択します。
デコードをオントロジーの用語と関係に制限することで、幻覚のリスクを軽減することを目指しています。
私たちは、広く使用されている 2 つのデータセットに対して広範な実験を実施し、ソースの微調整されたワンショット プロンプトの大規模言語モデルのターゲット オントロジーのパフォーマンスの向上を発見しました。

要約(オリジナル)

State-of-the-art task-oriented dialogue systems typically rely on task-specific ontologies for fulfilling user queries. The majority of task-oriented dialogue data, such as customer service recordings, comes without ontology and annotation. Such ontologies are normally built manually, limiting the application of specialised systems. Dialogue ontology construction is an approach for automating that process and typically consists of two steps: term extraction and relation extraction. In this work, we focus on relation extraction in a transfer learning set-up. To improve the generalisation, we propose an extension to the decoding mechanism of large language models. We adapt Chain-of-Thought (CoT) decoding, recently developed for reasoning problems, to generative relation extraction. Here, we generate multiple branches in the decoding space and select the relations based on a confidence threshold. By constraining the decoding to ontology terms and relations, we aim to decrease the risk of hallucination. We conduct extensive experimentation on two widely used datasets and find improvements in performance on target ontology for source fine-tuned and one-shot prompted large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google