A Simple and Effective Framework for Strict Zero-Shot Hierarchical Classification

要約

近年、大規模言語モデル (LLM) は、ベンチマーク タスク、特にゼロまたは数ショット設定で優れたパフォーマンスを達成しています。
ただし、これらのベンチマークは、階層分類などの現実世界で提起される課題に適切に対処していないことがよくあります。
この課題に対処するために、階層データセットに対する従来のタスクを、より示唆的なロングテール予測タスクにリファクタリングすることを提案します。
このような場合、LLM は失敗する傾向が高くなります。
これらの制限に対処するために、LLM と組み合わせて含意矛盾予測を使用することを提案します。これにより、厳密なゼロショット設定で強力なパフォーマンスが可能になります。
重要なのは、私たちの方法ではパラメーターの更新やリソースを大量に消費するプロセスが必要なく、複数のデータセットにわたって強力なパフォーマンスを実現することです。

要約(オリジナル)

In recent years, large language models (LLMs) have achieved strong performance on benchmark tasks, especially in zero or few-shot settings. However, these benchmarks often do not adequately address the challenges posed in the real-world, such as that of hierarchical classification. In order to address this challenge, we propose refactoring conventional tasks on hierarchical datasets into a more indicative long-tail prediction task. We observe LLMs are more prone to failure in these cases. To address these limitations, we propose the use of entailment-contradiction prediction in conjunction with LLMs, which allows for strong performance in a strict zero-shot setting. Importantly, our method does not require any parameter updates, a resource-intensive process and achieves strong performance across multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google