Retrieval-Augmented Classification with Decoupled Representation

要約

タイトル：デコップルされた表現を用いたリトリーバル増強分類

要約：

– リトリーバル増強方法は、様々な分類タスクで有望な結果を示しています。
– しかし、既存の方法では、入力を豊かにするために余分な文脈を取得することに焦点が当てられており、ノイズに敏感で非拡張可能です。
– 本論文では、このラインに沿って、k-最近傍（KNN）ベースのリトリーバル増強分類方法を提案します。
– 提案手法では、予測されたラベル分布を取得したインスタンスのラベル分布で補間します。
– 標準的なKNNプロセスとは異なり、分類とリトリーバルの共有表現は性能を損ない、トレーニングの不安定性を引き起こすため、デコップルメカニズムを提案します。
– 提案手法を広範な分類データセットで評価しました。実験結果は、提案手法の有効性と頑健性を証明するものでした。また、モデル内の異なるコンポーネントの貢献を分析するための追加実験も行いました。

要約(オリジナル)

Retrieval augmented methods have shown promising results in various classification tasks. However, existing methods focus on retrieving extra context to enrich the input, which is noise sensitive and non-expandable. In this paper, following this line, we propose a $k$-nearest-neighbor (KNN) -based method for retrieval augmented classifications, which interpolates the predicted label distribution with retrieved instances’ label distributions. Different from the standard KNN process, we propose a decoupling mechanism as we find that shared representation for classification and retrieval hurts performance and leads to training instability. We evaluate our method on a wide range of classification datasets. Experimental results demonstrate the effectiveness and robustness of our proposed method. We also conduct extra experiments to analyze the contributions of different components in our model.\footnote{\url{https://github.com/xnliang98/knn-cls-w-decoupling}}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI