Synthesizing Political Zero-Shot Relation Classification via Codebook Knowledge, NLI, and ChatGPT

要約

イベントコーディング用の最近の教師ありモデルは、パターンマッチング手法を大幅に上回ります。
ただし、新しい注釈のみに依存すると、専門家データベース内の膨大な知識が無視され、きめの細かい分類への適用が妨げられます。
これらの制限に対処するために、確立されたアノテーション コードブックからの知識を活用して、政治イベントのオントロジー関係分類に対するゼロショット アプローチを探索します。
私たちの研究には、ChatGPT と ZSP と呼ばれる新しい自然言語推論 (NLI) ベースのアプローチの両方が含まれています。
ZSP は、タスクをコンテキスト、モダリティ、およびクラスの曖昧さ回避レベルに分解するツリー クエリ フレームワークを採用しています。
このフレームワークにより、解釈可能性、効率性、およびスキーマ変更への適応性が向上します。
新しく厳選したデータセットに対して広範な実験を実施することで、ChatGPT 内の不安定性の問題を正確に特定し、ZSP の優れたパフォーマンスを強調します。
ZSP は、きめ細かいルートコード分類で F1 スコアの 40% という驚異的な向上を達成しました。
ZSP は教師あり BERT モデルと比較して競争力のあるパフォーマンスを示し、イベント レコードの検証とオントロジー開発のための貴重なツールとして位置付けられています。
私たちの研究は、転移学習と既存の専門知識を活用して、この分野の研究の効率と拡張性を高める可能性を強調しています。

要約(オリジナル)

Recent supervised models for event coding vastly outperform pattern-matching methods. However, their reliance solely on new annotations disregards the vast knowledge within expert databases, hindering their applicability to fine-grained classification. To address these limitations, we explore zero-shot approaches for political event ontology relation classification, by leveraging knowledge from established annotation codebooks. Our study encompasses both ChatGPT and a novel natural language inference (NLI) based approach named ZSP. ZSP adopts a tree-query framework that deconstructs the task into context, modality, and class disambiguation levels. This framework improves interpretability, efficiency, and adaptability to schema changes. By conducting extensive experiments on our newly curated datasets, we pinpoint the instability issues within ChatGPT and highlight the superior performance of ZSP. ZSP achieves an impressive 40% improvement in F1 score for fine-grained Rootcode classification. ZSP demonstrates competitive performance compared to supervised BERT models, positioning it as a valuable tool for event record validation and ontology development. Our work underscores the potential of leveraging transfer learning and existing expertise to enhance the efficiency and scalability of research in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google