$R^3$-NL2GQL: A Hybrid Models Approach for for Accuracy Enhancing and Hallucinations Mitigation

要約

Foundation Modelsを使用して構築された現在のNL2SQLタスクは称賛に値する結果を達成しているが、Natural Language to Graph Query Language (NL2GQL)タスクへの直接的な適用は、GQLとSQL表現の間の大きな違いや、GQLの多くのタイプのために、課題を提起している。我々の広範な実験により、NL2GQLタスクにおいて、より大きなファウンデーションモデルはスキーマ横断的な優れた汎化能力を示すが、より小さなファウンデーションモデルは微調整によりGQL生成能力を向上させるのに苦労することが明らかになった。しかしながら、ファインチューニングの後、より小さなモデルはより優れた意図理解とより高い文法的精度を示す。ルールベースやスロットフィリングの手法から逸脱して、我々はR3-NL2GQLを導入する。この手法は、リランカー、リライター、リファイナーとして、より小さいファウンデーションモデルとより大きいファウンデーションモデルの両方を採用する。このアプローチは、情報のリランカーとリライターのために、より小さなモデルの理解能力を利用し、入力された自然言語クエリとコード構造スキーマをあらゆる形式のGQLに変換するために、より大きなモデルの卓越した汎化と生成能力を利用する。この新しい領域には確立されたデータセットがないことを認識し、我々はグラフデータベースのドキュメントとオープンソースのナレッジグラフ（KG）から派生したバイリンガルデータセットを作成した。このデータセットで我々のアプローチをテストした結果、有望なパフォーマンスとロバスト性を示す実験結果が得られた。我々のコードとデータセットは、https://github.com/zhiqix/NL2GQL。

要約(オリジナル)

While current NL2SQL tasks constructed using Foundation Models have achieved commendable results, their direct application to Natural Language to Graph Query Language (NL2GQL) tasks poses challenges due to the significant differences between GQL and SQL expressions, as well as the numerous types of GQL. Our extensive experiments reveal that in NL2GQL tasks, larger Foundation Models demonstrate superior cross-schema generalization abilities, while smaller Foundation Models struggle to improve their GQL generation capabilities through fine-tuning. However, after fine-tuning, smaller models exhibit better intent comprehension and higher grammatical accuracy. Diverging from rule-based and slot-filling techniques, we introduce R3-NL2GQL, which employs both smaller and larger Foundation Models as reranker, rewriter and refiner. The approach harnesses the comprehension ability of smaller models for information reranker and rewriter, and the exceptional generalization and generation capabilities of larger models to transform input natural language queries and code structure schema into any form of GQLs. Recognizing the lack of established datasets in this nascent domain, we have created a bilingual dataset derived from graph database documentation and some open-source Knowledge Graphs (KGs). We tested our approach on this dataset and the experimental results showed that delivers promising performance and robustness.Our code and dataset is available at https://github.com/zhiqix/NL2GQL

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL