PropNet: a White-Box and Human-Like Network for Sentence Representation

要約

トランスベースの埋め込み方法は、近年、文の表現の分野を支配しています。
セマンティックテキストの類似性（STS）タスクなど、NLPミッションで顕著なパフォーマンスを達成していますが、ブラックボックスの性質や大型ダタ駆動型のトレーニングスタイルは、バイアス、信頼、安全性に関連する問題を含む懸念を引き起こしました。
埋め込みモデルの解釈可能性を改善するために多くの努力がなされてきましたが、これらの問題は根本的に解決されていません。
固有の解釈可能性を実現するために、純粋に白い箱と人間のような文の表現ネットワークであるPropnetを提案します。
認知科学の調査結果に触発されたPropnetは、文に含まれる命題に基づいて階層ネットワークを構築します。
実験では、PropnetがSTSタスクに最先端の（SOTA）埋め込みモデルと比較して有意なギャップがあることが示されていますが、ケーススタディは改善の余地がかなりあることを明らかにしています。
さらに、Propnetを使用すると、STSベンチマークの根底にある人間の認知プロセスを分析および理解することができます。

要約(オリジナル)

Transformer-based embedding methods have dominated the field of sentence representation in recent years. Although they have achieved remarkable performance on NLP missions, such as semantic textual similarity (STS) tasks, their black-box nature and large-data-driven training style have raised concerns, including issues related to bias, trust, and safety. Many efforts have been made to improve the interpretability of embedding models, but these problems have not been fundamentally resolved. To achieve inherent interpretability, we propose a purely white-box and human-like sentence representation network, PropNet. Inspired by findings from cognitive science, PropNet constructs a hierarchical network based on the propositions contained in a sentence. While experiments indicate that PropNet has a significant gap compared to state-of-the-art (SOTA) embedding models in STS tasks, case studies reveal substantial room for improvement. Additionally, PropNet enables us to analyze and understand the human cognitive processes underlying STS benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google