Selenite: Scaffolding Decision Making with Comprehensive Overviews Elicited from Large Language Models

要約

不慣れな領域での意思決定は困難であり、様々な基準に関して異なる選択肢を比較するために、ユーザは多大な労力を必要とする。先行研究と我々の予備調査では、他の人が以前に有用であると判断した基準など、情報空間の概要を前もって見ることが、人々にとって有益であることがわかった。しかし、既存のセンスメイキングツールは、「コールドスタート」問題に苦戦している。このような概観を生成し共有するためには、以前のユーザーからの多大なインプットが必要であるだけでなく、そのような概観は偏りがあり不完全である可能性がある。この研究では、LLMを推論マシンと知識検索器として活用し、ユーザーのセンスメイキングプロセスをジャンプスタートさせるために、選択肢と基準の包括的な概要を自動的に生成する新しいシステムSeleniteを紹介する。その後、セレナイトは利用者の使用に応じて適応し、利用者が体系的でありながらパーソナライズされた方法で不慣れな情報を見つけ、読み、ナビゲートするのを助ける。我々は3つの研究を通して、セレナイトが正確で高品質な概要を確実に作成し、ユーザーの情報処理を大幅に加速させ、全体的な理解とセンスメイキング体験を効果的に改善することを発見した。

要約(オリジナル)

Decision-making in unfamiliar domains can be challenging, demanding considerable user effort to compare different options with respect to various criteria. Prior research and our formative study found that people would benefit from seeing an overview of the information space upfront, such as the criteria that others have previously found useful. However, existing sensemaking tools struggle with the ‘cold-start’ problem — it not only requires significant input from previous users to generate and share these overviews, but such overviews may also be biased and incomplete. In this work, we introduce a novel system, Selenite, which leverages LLMs as reasoning machines and knowledge retrievers to automatically produce a comprehensive overview of options and criteria to jumpstart users’ sensemaking processes. Subsequently, Selenite also adapts as people use it, helping users find, read, and navigate unfamiliar information in a systematic yet personalized manner. Through three studies, we found that Selenite produced accurate and high-quality overviews reliably, significantly accelerated users’ information processing, and effectively improved their overall comprehension and sensemaking experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL