Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations

要約

言語モデル (LM) を利用したチャットボットや生成型検索エンジンは、具体的なクエリに答えることに優れていますが、未知の領域から情報を発見することはユーザーにとって依然として困難です。
児童・生徒が親や教師の会話を聞き、それに参加することで学習するという一般的な教育シナリオをエミュレートするために、私たちは Collaborative STORM (Co-STORM) を作成します。
ユーザーがすべての質問をする必要がある QA システムとは異なり、Co-STORM では、ユーザーは複数の LM エージェント間の議論を観察し、場合によっては操作することができます。
エージェントはユーザーに代わって質問をするため、ユーザーは未知の事柄を偶然に発見することができます。
ユーザーの対話を容易にするために、Co-STORM は、明らかになった情報を動的なマインド マップに整理することで、ユーザーが談話を追跡できるように支援し、最終的には要点として包括的なレポートを生成します。
自動評価のために、ユーザーの目標を設定した実際の情報探索記録を収集して WildSeek データセットを構築します。
Co-STORM は、談話追跡とレポート品質の両方においてベースライン手法を上回ります。
さらに人間による評価では、参加者の 70% が検索エンジンよりも Co-STORM を好み、78% が RAG チャットボットよりも Co-STORM を好みました。

要約(オリジナル)

While language model (LM)-powered chatbots and generative search engines excel at answering concrete queries, discovering information in the terrain of unknown unknowns remains challenging for users. To emulate the common educational scenario where children/students learn by listening to and participating in conversations of their parents/teachers, we create Collaborative STORM (Co-STORM). Unlike QA systems that require users to ask all the questions, Co-STORM lets users observe and occasionally steer the discourse among several LM agents. The agents ask questions on the user’s behalf, allowing the user to discover unknown unknowns serendipitously. To facilitate user interaction, Co-STORM assists users in tracking the discourse by organizing the uncovered information into a dynamic mind map, ultimately generating a comprehensive report as takeaways. For automatic evaluation, we construct the WildSeek dataset by collecting real information-seeking records with user goals. Co-STORM outperforms baseline methods on both discourse trace and report quality. In a further human evaluation, 70% of participants prefer Co-STORM over a search engine, and 78% favor it over a RAG chatbot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google