Beyond the Chat: Executable and Verifiable Text-Editing with LLMs

要約

Large Language Model (LLM) を利用した会話型インターフェイスは、最近、ドキュメント編集中にフィードバックを得る一般的な方法となっています。
ただし、標準のチャットベースの会話インターフェイスは、提案される編集変更の透明性と検証可能性をサポートしていません。
LLM を使用して編集するときに作成者がより自由に編集できるようにするために、編集中のドキュメント内で直接実行可能な編集を提案する編集インターフェイスである InkSync を提供します。
LLM は事実誤認を引き起こすことが知られているため、Inksync はこのリスクを軽減するための 3 段階のアプローチもサポートしています。提案された編集によって新しい情報が導入された場合に作成者に警告し、作成者を支援します。外部検索を通じて新しい情報の正確性を検証し、監査人が監査を実行できるようにします。
すべての自動生成コンテンツのトレースを介してドキュメントを監査することによる事後検証。
2 つのユーザビリティ調査により、標準の LLM ベースのチャット インターフェイスと比較した場合の InkSync コンポーネントの有効性が確認され、より正確で効率的な編集とユーザー エクスペリエンスの向上につながります。

要約(オリジナル)

Conversational interfaces powered by Large Language Models (LLMs) have recently become a popular way to obtain feedback during document editing. However, standard chat-based conversational interfaces do not support transparency and verifiability of the editing changes that they suggest. To give the author more agency when editing with an LLM, we present InkSync, an editing interface that suggests executable edits directly within the document being edited. Because LLMs are known to introduce factual errors, Inksync also supports a 3-stage approach to mitigate this risk: Warn authors when a suggested edit introduces new information, help authors Verify the new information’s accuracy through external search, and allow an auditor to perform an a-posteriori verification by Auditing the document via a trace of all auto-generated content. Two usability studies confirm the effectiveness of InkSync’s components when compared to standard LLM-based chat interfaces, leading to more accurate, more efficient editing, and improved user experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google