要約
多くの言語での文書検索は主に多言語モデルに依存し、膨大な英語トレーニング データを活用してきました。
日本語では、最もパフォーマンスの高い深層学習ベースの検索アプローチは、多言語の高密度埋め込みに依存しています。
この研究では、(1) 日本語 MMARCO データセットのハードネガティブ拡張バージョンと、(2) 特に日本語向けに ColBERT モデル アーキテクチャに基づいて構築された文書検索モデル JaColBERT を紹介します。
JaColBERT は、不利な評価設定 (多言語モデルのドメイン外とドメイン内) にもかかわらず、以前のすべての単言語検索アプローチを大幅に上回り、最良の多言語手法と競合します。
JaColBERT の平均 Recall@10 は 0.813 に達し、以前の単一言語の最高パフォーマンス モデル (0.716) を大幅に上回っており、multilingual-e5-base (0.820) よりもわずかに遅れていますが、multilingual-e5-large (0.856) よりも顕著に劣っています。
これらの結果は、多言語埋め込みモデルよりも 2 桁以上小さい、限定された完全に日本語のトレーニング セットのみを使用して達成されます。
これらの結果は、さまざまなドメインで検索を強化したアプリケーション パイプラインをサポートする大きな可能性を示していると考えています。
要約(オリジナル)
Document retrieval in many languages has been largely relying on multi-lingual models, and leveraging the vast wealth of English training data. In Japanese, the best performing deep-learning based retrieval approaches rely on multilingual dense embeddings. In this work, we introduce (1) a hard-negative augmented version of the Japanese MMARCO dataset and (2) JaColBERT, a document retrieval model built on the ColBERT model architecture, specifically for Japanese. JaColBERT vastly outperform all previous monolingual retrieval approaches and competes with the best multilingual methods, despite unfavourable evaluation settings (out-of-domain vs. in-domain for the multilingual models). JaColBERT reaches an average Recall@10 of 0.813, noticeably ahead of the previous monolingual best-performing model (0.716) and only slightly behind multilingual-e5-base (0.820), though more noticeably behind multilingual-e5-large (0.856). These results are achieved using only a limited, entirely Japanese, training set, more than two orders of magnitudes smaller than multilingual embedding models. We believe these results show great promise to support retrieval-enhanced application pipelines in a wide variety of domains.
arxiv情報
| 著者 | Benjamin Clavié |
| 発行日 | 2023-12-26 18:07:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google