FRIDA to the Rescue! Analyzing Synthetic Data Effectiveness in Object-Based Common Sense Reasoning for Disaster Response

要約

大規模な言語モデル（LLM）には、実質的な常識推論の可能性があります。
ただし、これらの機能は、多くの場合、より大きなモデルで出現します。
これは、ローカルで実行できる小さなモデルがあまり役に立たず、特定の推論タスクに関して能力があることを意味します。
問題のある空間要件を満たすために、これらのドメインには複雑で低周波の物理的常識の知識が含まれるため、より小さなLLMSを災害ドメインに微調整します。
パイプラインを導入して、フィールド対応命令デコードエージェント（FRIDA）モデルを作成します。ドメインの専門家と言語学者が知識を組み合わせて、微調整の合成データを生成するために使用される高品質の種子データを作成します。
合成生成のための130の種子命令のセット、25000の指示の合成データセット、および一般的および地震固有のオブジェクトアフォーダンスの両方に関連する119の評価命令を作成します。
いくつかのラマとミストラルの指導チューニングモデルを微調整し、Fridaモデルがさまざまなサイズでベースモデルよりも優れていることがわかります。
次に、アブレーション研究を実行して、どの種類の合成データがパフォーマンスに最も影響を与えるかを理解し、トレーニングの物理的状態とオブジェクト機能の常識的知識だけで、すべてのデータでトレーニングされたFRIDAモデルよりも改善されることがわかります。
Frida Pipelineは一般的な常識を浸透させることができると結論付けていますが、特定のドメイン知識のための情報検索で増強する必要があります。

要約(オリジナル)

Large Language Models (LLMs) have the potential for substantial common sense reasoning. However, these capabilities are often emergent in larger models. This means smaller models that can be run locally are less helpful and capable with respect to certain reasoning tasks. To meet our problem space requirements, we fine-tune smaller LLMs to disaster domains, as these domains involve complex and low-frequency physical common sense knowledge. We introduce a pipeline to create Field Ready Instruction Decoding Agent (FRIDA) models, where domain experts and linguists combine their knowledge to make high-quality seed data that is used to generate synthetic data for fine-tuning. We create a set of 130 seed instructions for synthetic generation, a synthetic dataset of 25000 instructions, and 119 evaluation instructions relating to both general and earthquake-specific object affordances. We fine-tune several LLaMa and Mistral instruction-tuned models and find that FRIDA models outperform their base models at a variety of sizes. We then run an ablation study to understand which kinds of synthetic data most affect performance and find that training physical state and object function common sense knowledge alone improves over FRIDA models trained on all data. We conclude that the FRIDA pipeline is capable of instilling general common sense, but needs to be augmented with information retrieval for specific domain knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google