GKG-LLM: Ein einheitliches Framework für die Konstruktion verallgemeinerter Wissensgraphen

GKG-LLM: A Unified Framework for Generalized Knowledge Graph Construction

March 14, 2025

Autoren: Jian Zhang, Bifan Wei, Shihao Qi, haiping Zhu, Jun Liu, Qika Lin

cs.AI

Zusammenfassung

Die Konstruktion eines Generalisierten Wissensgraphen (Generalized Knowledge Graph, GKG), einschließlich Wissensgraphen, Ereigniswissensgraphen und Commonsense-Wissensgraphen, ist grundlegend für verschiedene Aufgaben der natürlichen Sprachverarbeitung. Aktuelle Studien erstellen diese Arten von Graphen typischerweise separat, wobei ganzheitliche Erkenntnisse und potenzielle Vereinheitlichungen, die in Bezug auf Rechenressourcen und Nutzungsperspektiven vorteilhaft sein könnten, übersehen werden. Eine zentrale Herausforderung bei der Entwicklung eines einheitlichen Frameworks für GKG sind jedoch Hindernisse, die sich aus aufgabenspezifischen Unterschieden ergeben. In dieser Studie schlagen wir ein einheitliches Framework zur Konstruktion generalisierter Wissensgraphen vor, um diese Herausforderung zu bewältigen. Zunächst sammeln wir Daten aus 15 Unteraufgaben in 29 Datensätzen über die drei Arten von Graphen hinweg und kategorisieren sie in In-Sample-, Gegenaufgaben- und Out-of-Distribution (OOD)-Daten. Anschließend schlagen wir ein dreistufiges Curriculum-Learning-Fine-Tuning-Framework vor, indem wir iterativ Wissen aus den drei Arten von Graphen in Large Language Models einfügen. Umfangreiche Experimente zeigen, dass unser vorgeschlagenes Modell die Konstruktion aller drei Graphentypen über In-Domain-, OOD- und Gegenaufgaben-Daten hinweg verbessert.

English

The construction of Generalized Knowledge Graph (GKG), including knowledge graph, event knowledge graph and commonsense knowledge graph, is fundamental for various natural language processing tasks. Current studies typically construct these types of graph separately, overlooking holistic insights and potential unification that could be beneficial in computing resources and usage perspectives. However, a key challenge in developing a unified framework for GKG is obstacles arising from task-specific differences. In this study, we propose a unified framework for constructing generalized knowledge graphs to address this challenge. First, we collect data from 15 sub-tasks in 29 datasets across the three types of graphs, categorizing them into in-sample, counter-task, and out-of-distribution (OOD) data. Then, we propose a three-stage curriculum learning fine-tuning framework, by iteratively injecting knowledge from the three types of graphs into the Large Language Models. Extensive experiments show that our proposed model improves the construction of all three graph types across in-domain, OOD and counter-task data.