Knowing-how & Knowing-that: A New Task for Machine Comprehension of User Manuals

要約

ユーザーマニュアルの機械読解（MRC）は、顧客サービスにおいて大きな可能性を秘めています。
しかし、現在の方法では複雑な質問に答えるのが困難です。
したがって、ファクトイド形式、手順形式、およびユーザーマニュアルに関する一貫性のない質問にモデルが答えることを必要とする「ノウハウと知識」タスクを導入します。
このタスクは、さまざまな質問の統一された推論をサポートするグラフ TARA でステップと事実を共同で表現することで解決します。
系統的なベンチマーク調査に向けて、ユーザーマニュアルを自動的に解析して TARA にし、現実世界の質問に答えるモデルの能力をテストするための注釈付きデータセットを構築するヒューリスティックな手法を設計します。
経験的な結果は、ユーザー マニュアルを TARA として表現することが、ユーザー マニュアルの MRC にとって望ましい解決策であることを示しています。
TARA の詳細な調査により、ユーザー マニュアルの将来の表現に関する問題と広範な影響がさらに明らかになります。
私たちの取り組みによって、ユーザーマニュアルの MRC がより複雑で現実的な段階に移行できることを願っています。

要約(オリジナル)

The machine reading comprehension (MRC) of user manuals has huge potential in customer service. However, current methods have trouble answering complex questions. Therefore, we introduce the Knowing-how & Knowing-that task that requires the model to answer factoid-style, procedure-style, and inconsistent questions about user manuals. We resolve this task by jointly representing the steps and facts in a graph TARA, which supports a unified inference of various questions. Towards a systematical benchmarking study, we design a heuristic method to automatically parse user manuals into TARAs and build an annotated dataset to test the model’s ability in answering real-world questions. Empirical results demonstrate that representing user manuals as TARAs is a desired solution for the MRC of user manuals. An in-depth investigation of TARA further sheds light on the issues and broader impacts of future representations of user manuals. We hope our work can move the MRC of user manuals to a more complex and realistic stage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google