TREC iKAT 2023: The Interactive Knowledge Assistance Track Overview

要約

会話型情報探索は、これまでの研究からの多大な貢献を備えた極めて重要な研究分野です。
TREC Interactive Knowledge Assistance Track (iKAT) は、TREC Conversational Assistance Track (CAsT) の基礎的な作業に基づいて構築されています。
ただし、iKAT は、ユーザーの以前の対話と現在のコンテキストに基づいて応答を適応させる会話型検索エージェントの作成と研究を特に重視しています。
課題は、会話型検索エージェント (CSA) がこのパーソナライズされたコンテキストを効率的に組み込み、ユーザーに関連する情報を効果的に案内できるようにすることにあります。
iKAT はまた、ユーザーがデータや情報をふるいにかけ、結論に達するかアクションを実行するためにオプションを比較検討する、意思決定検索タスクも重視します。
これらのタスクは、旅行、健康、ショッピングに関連するものであっても、日常の情報探索の意思決定に広く使用されており、多くの場合、情報空間に関するクエリや質問には、オプションの検索、オプションの比較などの高レベルの情報オペレータのサブセットを中心に展開されます。
さまざまなペルソナとその情報ニーズ (一連の質問を通じて表現される) を考慮すると、多様な会話の軌道が生じます。なぜなら、これらの類似した質問に対する答えは大きく異なるからです。
本稿では、TREC iKAT の初年度について報告し、課題、トピック、データ収集、評価枠組みについて説明します。
提出された内容をさらに検討し、結果を要約します。

要約(オリジナル)

Conversational Information Seeking stands as a pivotal research area with significant contributions from previous works. The TREC Interactive Knowledge Assistance Track (iKAT) builds on the foundational work of the TREC Conversational Assistance Track (CAsT). However, iKAT distinctively emphasizes the creation and research of conversational search agents that adapt responses based on user’s prior interactions and present context. The challenge lies in enabling Conversational Search Agents (CSA) to incorporate this personalized context to efficiency and effectively guide users through the relevant information to them. iKAT also emphasizes decisional search tasks, where users sift through data and information to weigh up options in order to reach a conclusion or perform an action. These tasks, prevalent in everyday information-seeking decisions — be it related to travel, health, or shopping — often revolve around a subset of high-level information operators where queries or questions about the information space include: finding options, comparing options, identifying the pros and cons of options, etc. Given the different personas and their information need (expressed through the sequence of questions), diverse conversation trajectories will arise — because the answers to these similar queries will be very different. In this paper, we report on the first year of TREC iKAT, describing the task, topics, data collection, and evaluation framework. We further review the submissions and summarize the findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google