OmniThink: Expanding Knowledge Boundaries in Machine Writing through Thinking

要約

大規模な言語モデルを使用した機械記述は、多くの場合、検索拡張生成に依存します。
ただし、これらのアプローチはモデルの事前定義されたスコープの境界内に限定されたままであり、豊富な情報を含むコンテンツの生成が制限されます。
具体的には、バニラで取得した情報は深さや有用性に欠ける傾向があり、冗長性が問題となるため、生成される記事の品質に悪影響を及ぼし、浅薄で反復的で独創性のない出力につながります。
これらの問題に対処するために、私たちは人間のような拡張と反映の反復プロセスをエミュレートする機械記述フレームワークである OmniThink を提案します。
OmniThink の背後にある中心的なアイデアは、学習者がトピックの知識を徐々に深める際の認知行動をシミュレートすることです。
実験結果は、OmniThink が一貫性や深さなどの指標を損なうことなく、生成された記事の知識密度を向上させることを示しています。
人間による評価と専門家のフィードバックは、長文記事の生成における現実世界の課題に対処する OmniThink の可能性をさらに浮き彫りにします。

要約(オリジナル)

Machine writing with large language models often relies on retrieval-augmented generation. However, these approaches remain confined within the boundaries of the model’s predefined scope, limiting the generation of content with rich information. Specifically, vanilla-retrieved information tends to lack depth, utility, and suffers from redundancy, which negatively impacts the quality of generated articles, leading to shallow, repetitive, and unoriginal outputs. To address these issues, we propose OmniThink, a machine writing framework that emulates the human-like process of iterative expansion and reflection. The core idea behind OmniThink is to simulate the cognitive behavior of learners as they progressively deepen their knowledge of the topics. Experimental results demonstrate that OmniThink improves the knowledge density of generated articles without compromising metrics such as coherence and depth. Human evaluations and expert feedback further highlight the potential of OmniThink to address real-world challenges in the generation of long-form articles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google