Sõnajaht: Definition Embeddings and Semantic Search for Reverse Dictionary Creation

要約

我々は、最新の事前トレーニング済み言語モデルと近似最近傍検索アルゴリズムを使用した、情報検索ベースの逆辞書システムを紹介します。
提案されたアプローチは、既存のエストニア語辞書リソースである S\~onaveeb (word Web) に適用され、セマンティック検索による言語間の逆引き辞書機能を導入することでリソースを強化および充実させることを目的としています。
システムのパフォーマンスは、エストニア語とロシア語の翻訳も含めるように拡張された単語と定義の既存のラベル付き英語データセットと、同義関係を使用して辞書リソース自体から評価データを抽出する新しいラベルなしの評価アプローチの両方を使用して評価されます。
評価結果は、モデルのトレーニングを行わない情報検索ベースのセマンティック検索アプローチが実現可能であることを示しており、ラベルなしの評価アプローチを使用して、言語横断用にトレーニングされたモデルを使用して、単一言語設定で中央値ランク 1、複数言語設定で中央値ランク 2 を生成しました。
言語検索とトレーニング データにエストニア語を含めることで、特定のタスクで優れたパフォーマンスを示しました。

要約(オリジナル)

We present an information retrieval based reverse dictionary system using modern pre-trained language models and approximate nearest neighbors search algorithms. The proposed approach is applied to an existing Estonian language lexicon resource, S\~onaveeb (word web), with the purpose of enhancing and enriching it by introducing cross-lingual reverse dictionary functionality powered by semantic search. The performance of the system is evaluated using both an existing labeled English dataset of words and definitions that is extended to contain also Estonian and Russian translations, and a novel unlabeled evaluation approach that extracts the evaluation data from the lexicon resource itself using synonymy relations. Evaluation results indicate that the information retrieval based semantic search approach without any model training is feasible, producing median rank of 1 in the monolingual setting and median rank of 2 in the cross-lingual setting using the unlabeled evaluation approach, with models trained for cross-lingual retrieval and including Estonian in their training data showing superior performance in our particular task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google