Retro-li: Small-Scale Retrieval Augmented Generation Supporting Noisy Similarity Searches and Domain Shift Generalization

要約

レトロなどの検索拡張生成（RAG）システムは、言語モデリング機能を改善し、数兆個のエントリを含むノンパラメトリックメモリのデータベースから取得することにより、毒性と幻覚を減らすことが示されています。
検索が小規模なデータベースの使用にも役立つことを示すRetro-LIを導入しますが、より小さなノンパラメトリックメモリで検索する際に、より正確でより良い隣人を必要とします。
これは、適切なセマンティックな類似性検索を使用して満たすことができます。
さらに、ノンパラメトリックメモリに正則化を初めて追加することを提案します。それは、推論中に近隣検索操作がうるさいと困惑を大幅に減らし、ドメインシフトが発生すると一般化を改善します。
また、Retro-LIのノンパラメトリックメモリをアナログインメモリコンピューティングハードウェアに潜在的に実装できることを示しており、最小（<1％）のパフォーマンス損失で、近隣の回収にノイズを引き起こしながらO（1）検索時間を示します。 私たちのコードは、https：//github.com/ibm/retrieval-enhanced-transformer-littleで入手できます。

要約(オリジナル)

The retrieval augmented generation (RAG) system such as Retro has been shown to improve language modeling capabilities and reduce toxicity and hallucinations by retrieving from a database of non-parametric memory containing trillions of entries. We introduce Retro-li that shows retrieval can also help using a small-scale database, but it demands more accurate and better neighbors when searching in a smaller hence sparser non-parametric memory. This can be met by using a proper semantic similarity search. We further propose adding a regularization to the non-parametric memory for the first time: it significantly reduces perplexity when the neighbor search operations are noisy during inference, and it improves generalization when a domain shift occurs. We also show that Retro-li’s non-parametric memory can potentially be implemented on analog in-memory computing hardware, exhibiting O(1) search time while causing noise in retrieving neighbors, with minimal (<1%) performance loss. Our code is available at: https://github.com/IBM/Retrieval-Enhanced-Transformer-Little.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google