Hyper-CL: Conditioning Sentence Representations with Hypernetworks

要約

文表現学習における対照学習フレームワークの導入は、この分野の進歩に大きく貢献しましたが、最先端の文埋め込みが、特に特定の視点に条件付けされた場合に、文のきめ細かい意味論を捕捉できるかどうかは依然として不明です。
。
この論文では、条件付き文表現を計算するためにハイパーネットワークと対照学習を統合する効率的な方法論である Hyper-CL を紹介します。
私たちが提案するアプローチでは、ハイパーネットワークは、事前に計算された条件の埋め込みを対応する投影レイヤーに変換する役割を果たします。
これにより、同じ文章の埋め込みをさまざまな条件に応じて異なる方法で投影することができます。
2 つの代表的な条件付けベンチマーク、つまり条件付き意味論的テキストの類似性とナレッジ グラフの補完での評価は、Hyper-CL が文表現を柔軟に条件付けするのに効果的であることを実証し、同時にその計算効率を示しています。
また、アプローチの内部動作の包括的な分析も提供し、そのメカニズムのより良い解釈につながります。

要約(オリジナル)

While the introduction of contrastive learning frameworks in sentence representation learning has significantly contributed to advancements in the field, it still remains unclear whether state-of-the-art sentence embeddings can capture the fine-grained semantics of sentences, particularly when conditioned on specific perspectives. In this paper, we introduce Hyper-CL, an efficient methodology that integrates hypernetworks with contrastive learning to compute conditioned sentence representations. In our proposed approach, the hypernetwork is responsible for transforming pre-computed condition embeddings into corresponding projection layers. This enables the same sentence embeddings to be projected differently according to various conditions. Evaluation on two representative conditioning benchmarks, namely conditional semantic text similarity and knowledge graph completion, demonstrates that Hyper-CL is effective in flexibly conditioning sentence representations, showcasing its computational efficiency at the same time. We also provide a comprehensive analysis of the inner workings of our approach, leading to a better interpretation of its mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google