Introducing ‘Forecast Utterance’ for Conversational Data Science

要約

基盤となる機械学習 (ML) プロセスについての深い知識を必要とせずに、直感的で自然な会話を通じてユーザーが予測タスクを実行できるように支援できるインテリジェント エージェントを想像してください。
この取り組みにおけるエージェントにとっての重要な課題は、ユーザーの予測目標を正確に理解し、その結果として正確な ML タスクを策定することです。
このペーパーでは、予測発話と呼ばれる新しい概念を導入することで、この野心的な目標に向けた先駆的な一歩を踏み出し、これらの発話からのユーザーの予測目標の自動かつ正確な解釈に焦点を当てます。
具体的には、タスクをスロット充填問題としてフレーム化し、各スロットがゴール予測タスクの特定の側面に対応します。
次に、スロット充填タスクを解決するために 2 つのゼロショット手法、つまり 1) エンティティ抽出 (EE) と 2) 質問応答 (QA) 手法を採用します。
綿密に作成された 3 つのデータセットを使用して実施された私たちの実験は、私たちの野心的な目標の実現可能性を検証し、予測発話の解釈における EE と QA の両方のテクニックの有効性を実証しました。

要約(オリジナル)

Envision an intelligent agent capable of assisting users in conducting forecasting tasks through intuitive, natural conversations, without requiring in-depth knowledge of the underlying machine learning (ML) processes. A significant challenge for the agent in this endeavor is to accurately comprehend the user’s prediction goals and, consequently, formulate precise ML tasks. In this paper, we take a pioneering step towards this ambitious goal by introducing a new concept called Forecast Utterance and then focus on the automatic and accurate interpretation of users’ prediction goals from these utterances. Specifically, we frame the task as a slot-filling problem, where each slot corresponds to a specific aspect of the goal prediction task. We then employ two zero-shot methods for solving the slot-filling task, namely: 1) Entity Extraction (EE), and 2) Question-Answering (QA) techniques. Our experiments, conducted with three meticulously crafted data sets, validate the viability of our ambitious goal and demonstrate the effectiveness of both EE and QA techniques in interpreting Forecast Utterances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google