Deep Natural Language Feature Learning for Interpretable Prediction

要約

主要な複雑なタスクを、最終的なターゲットタスクに関連する二項質問として自然言語で定式化される一連のより簡単な中間サブタスクに分解する一般的な方法を提案します。
私たちの方法では、これらの質問に対する答えから構成されるベクトルで各例を表すことができます。
この表現を自然言語学習特徴 (NLLF) と呼びます。
NLLF は、大規模言語モデル (LLM) から自動的に取得された弱いラベルを使用して、自然言語推論 (NLI) 方式でトレーニングされた小規模なトランスフォーマー言語モデル (BERT など) によって生成されます。
通常、LLM はコンテキスト内学習を使用するメインタスクには苦労しますが、これらの最も簡単なサブタスクを処理し、BERT をトレーニングするために有用な弱いラベルを生成できることを示します。
BERT の NLI に似たトレーニングでは、トレーニング中に表示されたものとは限らず、任意の 2 項質問を使用してゼロショット推論に取り組むことができます。
この NLLF ベクトルは、分類器を強化することでパフォーマンスの向上に役立つだけでなく、決定木のような解釈しやすい機械学習モデルの入力として使用できることを示します。
この決定木は解釈可能であるだけでなく、場合によっては事前トレーニングされた変換器のパフォーマンスを上回る高いパフォーマンスにも達します。私たちは、この方法を 2 つのまったく異なるタスクに適用することに成功しました。1 つは自由形式の数学の試験問題に対する生徒の解答の一貫性の検出です。
気候変動とアグロエコロジーに関する科学論文の系統的な文献レビューのための抄録の審査。

要約(オリジナル)

We propose a general method to break down a main complex task into a set of intermediary easier sub-tasks, which are formulated in natural language as binary questions related to the final target task. Our method allows for representing each example by a vector consisting of the answers to these questions. We call this representation Natural Language Learned Features (NLLF). NLLF is generated by a small transformer language model (e.g., BERT) that has been trained in a Natural Language Inference (NLI) fashion, using weak labels automatically obtained from a Large Language Model (LLM). We show that the LLM normally struggles for the main task using in-context learning, but can handle these easiest subtasks and produce useful weak labels to train a BERT. The NLI-like training of the BERT allows for tackling zero-shot inference with any binary question, and not necessarily the ones seen during the training. We show that this NLLF vector not only helps to reach better performances by enhancing any classifier, but that it can be used as input of an easy-to-interpret machine learning model like a decision tree. This decision tree is interpretable but also reaches high performances, surpassing those of a pre-trained transformer in some cases.We have successfully applied this method to two completely different tasks: detecting incoherence in students’ answers to open-ended mathematics exam questions, and screening abstracts for a systematic literature review of scientific papers on climate change and agroecology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google