De-DSI: Decentralised Differentiable Search Index

要約

この研究では、大規模言語モデル (LLM) と情報検索のための真の分散化を融合する新しいフレームワークである De-DSI を紹介します。特に、分散化設定で微分可能検索インデックス (DSI) の概念を採用しています。
De-DSI は、ドキュメントに直接アクセスすることなく、新しいユーザー クエリをドキュメント識別子と効率的に結び付けることに重点を置き、クエリとドキュメントのペアのみで動作します。
スケーラビリティを強化するために、DSI モデルのアンサンブルが導入され、データセットが個々のモデルのトレーニング用に小さなシャードに分割されます。
このアプローチは、各モデルが処理する必要があるデータの数を減らすことで精度を維持するだけでなく、複数のモデルからの結果を集約することでスケーラビリティも促進します。
この集計では、ビーム検索を使用して上位のドキュメント ID を特定し、スコア正規化にソフトマックス関数を適用して、取得するスコアが最も高いドキュメントを選択します。
分散型の実装は、取得の成功率が集中型の方法に匹敵することを示しており、さらにネットワーク全体に計算の複雑さを分散できるという利点もあります。
この設定により、マグネット リンクを介したマルチメディア アイテムの取得も可能になり、プラットフォームや仲介業者が不要になります。

要約(オリジナル)

This study introduces De-DSI, a novel framework that fuses large language models (LLMs) with genuine decentralization for information retrieval, particularly employing the differentiable search index (DSI) concept in a decentralized setting. Focused on efficiently connecting novel user queries with document identifiers without direct document access, De-DSI operates solely on query-docid pairs. To enhance scalability, an ensemble of DSI models is introduced, where the dataset is partitioned into smaller shards for individual model training. This approach not only maintains accuracy by reducing the number of data each model needs to handle but also facilitates scalability by aggregating outcomes from multiple models. This aggregation uses a beam search to identify top docids and applies a softmax function for score normalization, selecting documents with the highest scores for retrieval. The decentralized implementation demonstrates that retrieval success is comparable to centralized methods, with the added benefit of the possibility of distributing computational complexity across the network. This setup also allows for the retrieval of multimedia items through magnet links, eliminating the need for platforms or intermediaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google