Two Kinds of Recall

要約

パターンベースのモデルは精度が高く、学習ベースのモデルは再現性に優れているという前提が確立されています。
しかし、それは本当にそうですか？
私は、想起には 2 種類あると主張します。多様性を反映する d-想起と、網羅性を反映する e-想起です。
ニューラル手法は確かに d 想起が大幅に優れている一方で、パターンベースの手法は e 想起が依然として大幅に優れている場合があることを実験で示しています。
理想的な方法は両方の種類を目指すべきであり、この理想は評価に反映されるべきです。

要約(オリジナル)

It is an established assumption that pattern-based models are good at precision, while learning based models are better at recall. But is that really the case? I argue that there are two kinds of recall: d-recall, reflecting diversity, and e-recall, reflecting exhaustiveness. I demonstrate through experiments that while neural methods are indeed significantly better at d-recall, it is sometimes the case that pattern-based methods are still substantially better at e-recall. Ideal methods should aim for both kinds, and this ideal should in turn be reflected in our evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google