Revisiting the Knowledge Injection Frameworks

要約

近年、GPT などの大規模言語モデル (LLM) が世界中で大きな影響を与えています。
ただし、外部の知識を利用して、これらの LLM を垂直ドメイン固有のタスクにより適合させる方法は、まだ完全には解決されていません。
実際、この分野でいくつかの研究が行われていますが、そのほとんどは、対応する知識タプルを関連するテキスト サンプルに注入するために構築された位置合わせヒューリスティックに依存しています。
しかし、その約束にもかかわらず、私たちはこの研究において極めて重要な問題をいたるところで発見しています。
簡単に言えば、整列されていない (つまり、ランダムな) 知識タプルを LLM に注入すると、整列された知識が注入された場合と同等の (場合によってはより良い) 結果が得られることがわかります。
したがって、私たちは、関連するさまざまな先行研究に関するこのもどかしい発見を徹底的に調査し、この現象に対する一連の潜在的な解釈をさらに提供します。
これらすべてに基づいて、簡単な修復テクニックを提供します。
簡単に言えば、この手法の核心は、LLM に注入される外部知識ベースの剪定と純化に対するイデオロギーの強調に根ざしています。
最後に、この手法を (すべてではないにしても) ほとんどのナレッジ インジェクション フレームワークと最近の LLM に統合することで、前述の健全性の問題を克服し、ドメイン適応型 LLM のパフォーマンスの限界をさらに押し上げることができることを示します。

要約(オリジナル)

In recent years, large language models (LLMs), such as GPTs, have attained great impact worldwide. However, how to adapt these LLMs to better suit the vertical domain-specific tasks by utilizing external knowledge remains not completely solved. Indeed, there have emerged a few works on this line where most of them rely on an alignment heuristic that is built to inject the corresponding knowledge tuple into the associated text sample. However, despite the promise, we identify a pivotal problem in this work ubiquitously. Simply put, we find that injecting unaligned (i.e., random) knowledge tuple into the LLMs achieves comparable (and sometimes better) results than the aligned knowledge being injected. We therefore take a thorough investigation of this frustrating finding on a variety of related prior work and further provide a chain of potential interpretations for the phenomenon. Based on all that, we offer a simple remediated technique. Briefly, the core of this technique is rooted in an ideological emphasis on the pruning and purification of the external knowledge base to be injected into LLMs. At last, we show that by integrating this technique into most (if not all) knowledge injection frameworks and recent LLMs, it manages to overcome the aforementioned sanity problem and further pushes the boundary of the performance of the domain-adaptive LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google