Dialogue Ontology Relation Extraction via Constrained Chain-of-Thought Decoding

要約

通常、最先端のタスク指向のダイアログシステムは、ユーザークエリを満たすためにタスク固有のオントロジーに依存しています。
カスタマーサービスの記録など、タスク指向の対話データの大部分は、オントロジーや注釈なしで行われます。
このようなオントロジーは通常、手動で構築されており、特殊なシステムの適用が制限されます。
ダイアログオントロジー構造は、そのプロセスを自動化するためのアプローチであり、通常、用語抽出と関係抽出の2つのステップで構成されています。
この作業では、転送学習セットアップでの関係抽出に焦点を当てています。
一般化を改善するために、大規模な言語モデルのデコードメカニズムの拡張を提案します。
推論の問題のために最近開発されたチェーンオブ考え（COT）デコードを生成関係抽出に適応させます。
ここでは、デコード空間に複数の分岐を生成し、信頼のしきい値に基づいて関係を選択します。
オントロジーの用語と関係へのデコードを制約することにより、幻覚のリスクを減らすことを目指しています。
広く使用されている2つのデータセットで広範な実験を実施し、ソース微調整およびワンショットの大規模な言語モデルのターゲットオントロジーのパフォーマンスの改善を見つけます。

要約(オリジナル)

State-of-the-art task-oriented dialogue systems typically rely on task-specific ontologies for fulfilling user queries. The majority of task-oriented dialogue data, such as customer service recordings, comes without ontology and annotation. Such ontologies are normally built manually, limiting the application of specialised systems. Dialogue ontology construction is an approach for automating that process and typically consists of two steps: term extraction and relation extraction. In this work, we focus on relation extraction in a transfer learning set-up. To improve the generalisation, we propose an extension to the decoding mechanism of large language models. We adapt Chain-of-Thought (CoT) decoding, recently developed for reasoning problems, to generative relation extraction. Here, we generate multiple branches in the decoding space and select the relations based on a confidence threshold. By constraining the decoding to ontology terms and relations, we aim to decrease the risk of hallucination. We conduct extensive experimentation on two widely used datasets and find improvements in performance on target ontology for source fine-tuned and one-shot prompted large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google