LEKA:LLM-Enhanced Knowledge Augmentation

要約

人間は、類似の学習と知識の移転に優れており、さらに重要なことに、適切な知識源を特定するというユニークな理解を持っています。
モデルの観点から見ると、これは興味深い課題を提示します。
モデルがトランスファーや意思決定に役立つ知識を自律的に取得して問題を解決できる場合、受動的に獲得することから、知識から積極的にアクセスして学習することに移行します。
ただし、モデルを知識で埋めることは比較的簡単です。単に、より多くのトレーニングとアクセス可能な知識ベースが必要です。
より複雑なタスクは、どの知識を類推して転送できるかについてモデルを教えることです。
したがって、ターゲットドメインの知識を豊かにできる適切な知識源を積極的に検索する知識移転のために、知識増強方法Lekaを設計します。
このLekaメソッドは、ターゲットドメインからテキスト情報から重要な情報を抽出し、外部データライブラリから適切なデータを取得し、特徴空間と限界確率測定のターゲットドメインデータと取得したデータを調和させます。
さまざまなドメインにわたる広範な実験を通じて、アプローチの有効性を検証し、計算コストの削減、データの調整の自動化、および転送学習成果の最適化における従来の方法よりも大幅な改善を示します。

要約(オリジナル)

Humans excel in analogical learning and knowledge transfer and, more importantly, possess a unique understanding of identifying appropriate sources of knowledge. From a model’s perspective, this presents an interesting challenge. If models could autonomously retrieve knowledge useful for transfer or decision-making to solve problems, they would transition from passively acquiring to actively accessing and learning from knowledge. However, filling models with knowledge is relatively straightforward — it simply requires more training and accessible knowledge bases. The more complex task is teaching models about which knowledge can be analogized and transferred. Therefore, we design a knowledge augmentation method LEKA for knowledge transfer that actively searches for suitable knowledge sources that can enrich the target domain’s knowledge. This LEKA method extracts key information from textual information from the target domain, retrieves pertinent data from external data libraries, and harmonizes retrieved data with the target domain data in feature space and marginal probability measures. We validate the effectiveness of our approach through extensive experiments across various domains and demonstrate significant improvements over traditional methods in reducing computational costs, automating data alignment, and optimizing transfer learning outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google