Joint Representations of Text and Knowledge Graphs for Retrieval and Evaluation

要約

ニューラル モデルの重要な機能は、オブジェクト (テキスト、画像、音声など) のセマンティック ベクトル表現を生成できることです。これにより、同様のオブジェクトがベクトル空間で互いに近くにあることが保証されます。
多くの作業が他のモダリティの学習表現に焦点を当ててきましたが、テキストとナレッジ ベース (KB) 要素の調整されたクロスモーダル表現はありません。
このような表現を学習するための課題の 1 つは、並列データが不足していることです。これを克服するために、ヒューリスティック ベースのデータセットとデータ拡張で対照的なトレーニングを使用し、(KB グラフ、テキスト) ペアで埋め込みモデルをトレーニングします。
よりクリーンな手動で作成されたデータセットである WebNLG では、それらが検索に適した位置合わせされた表現を学習することを示します。
次に、注釈付きデータを微調整して EREDAT (Ensembled Representations for Evaluation of DAta-to-Text) を作成します。これは、英語のテキストと KB グラフの間の類似性指標です。
EREDAT は、WebNLG に関する人間の判断との相関関係に関して、最先端の指標よりも優れているか一致していますが、それらとは異なり、比較するための参照テキストは必要ありません。

要約(オリジナル)

A key feature of neural models is that they can produce semantic vector representations of objects (texts, images, speech, etc.) ensuring that similar objects are close to each other in the vector space. While much work has focused on learning representations for other modalities, there are no aligned cross-modal representations for text and knowledge base (KB) elements. One challenge for learning such representations is the lack of parallel data, which we use contrastive training on heuristics-based datasets and data augmentation to overcome, training embedding models on (KB graph, text) pairs. On WebNLG, a cleaner manually crafted dataset, we show that they learn aligned representations suitable for retrieval. We then fine-tune on annotated data to create EREDAT (Ensembled Representations for Evaluation of DAta-to-Text), a similarity metric between English text and KB graphs. EREDAT outperforms or matches state-of-the-art metrics in terms of correlation with human judgments on WebNLG even though, unlike them, it does not require a reference text to compare against.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google