Backtracing: Retrieving the Cause of the Query

要約

多くのオンライン コンテンツ ポータルでは、ユーザーが（講義などの）理解を補うために質問することができます。
情報検索 (IR) システムは、そのようなユーザーの質問に対する答えを提供することはできますが、コンテンツを改善したい講師などのコンテンツ作成者が、ユーザーがそのような質問をする原因となったセグメントを特定するのを直接支援するものではありません。
バックトレースのタスクを導入します。このタスクでは、ユーザーのクエリを引き起こした可能性が最も高いテキスト セグメントをシステムが取得します。
私たちは、コンテンツ配信とコミュニケーションを改善する上でバックトレースが重要である 3 つの現実世界の領域を形式化します。(a) 講義領域における学生の混乱、(b) ニュース記事領域における読者の好奇心、および (c) ユーザーの感情の原因の理解です。
会話ドメイン内。
私たちは、バイエンコーダー、再ランキング、尤度ベースの手法、ChatGPT などの一般的な情報検索手法と言語モデリング手法のゼロショット パフォーマンスを評価します。
従来の IR システムは、意味的に関連する情報 (たとえば、「複数回投影しても同じ点に行き着くのか?」というクエリに対する「投影行列」の詳細) を取得しますが、因果的に関連するコンテキスト (たとえば、講師が「投影している」と述べたなど) を見逃していることがよくあります。
2 回実行すると、1 回の投影と同じ答えが得られます。」)
私たちの結果は、バックトレースには改善の余地があり、新しい検索アプローチが必要であることを示しています。
私たちのベンチマークが、コンテンツ生成を改良し、ユーザーのクエリに影響を与える言語トリガーを特定するバックトレースや生成システムのための将来の検索システムの改善に役立つことを願っています。
私たちのコードとデータはオープンソースです: https://github.com/rosewang2008/backtracing。

要約(オリジナル)

Many online content portals allow users to ask questions to supplement their understanding (e.g., of lectures). While information retrieval (IR) systems may provide answers for such user queries, they do not directly assist content creators — such as lecturers who want to improve their content — identify segments that _caused_ a user to ask those questions. We introduce the task of backtracing, in which systems retrieve the text segment that most likely caused a user query. We formalize three real-world domains for which backtracing is important in improving content delivery and communication: understanding the cause of (a) student confusion in the Lecture domain, (b) reader curiosity in the News Article domain, and (c) user emotion in the Conversation domain. We evaluate the zero-shot performance of popular information retrieval methods and language modeling methods, including bi-encoder, re-ranking and likelihood-based methods and ChatGPT. While traditional IR systems retrieve semantically relevant information (e.g., details on ‘projection matrices’ for a query ‘does projecting multiple times still lead to the same point?’), they often miss the causally relevant context (e.g., the lecturer states ‘projecting twice gets me the same answer as one projection’). Our results show that there is room for improvement on backtracing and it requires new retrieval approaches. We hope our benchmark serves to improve future retrieval systems for backtracing, spawning systems that refine content generation and identify linguistic triggers influencing user queries. Our code and data are open-sourced: https://github.com/rosewang2008/backtracing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google