Graphbasiertes Schlussfolgern und Wissenserweiterung vor Ort mit Graph-PReFLexOR.

In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR

January 14, 2025

Autoren: Markus J. Buehler

cs.AI

Zusammenfassung

Die Verfolgung automatisierter wissenschaftlicher Entdeckungen hat den Fortschritt von symbolischer Logik bis zur modernen KI vorangetrieben und neue Grenzen im Bereich des Schlussfolgerns und der Mustererkennung geschaffen. Transformer fungieren als potenzielle Systeme, in denen jede mögliche Beziehung latent bleibt, bis Aufgaben Einschränkungen auferlegen, ähnlich wie bei Messungen. Die Verfeinerung ihrer Stichproben erfordert jedoch mehr als probabilistische Auswahl: Lösungen müssen spezifischen Strukturen oder Regeln entsprechen, um Konsistenz und die Anrufung allgemeiner Prinzipien sicherzustellen. Wir stellen Graph-PReFLexOR (Graphenbasierte Präferenzbasierte Rekursive Sprachmodellierung zur explorativen Optimierung des Schlussfolgerns) vor, ein Framework, das Graphenschlussfolgerung mit symbolischer Abstraktion kombiniert, um das Domänenwissen dynamisch zu erweitern. Inspiriert von reinforcement learning definiert Graph-PReFLexOR das Schlussfolgern als strukturiertes Mapping, bei dem Aufgaben Wissensgraphen, abstrakte Muster und letztendlich endgültige Antworten liefern. Inspiriert von der Kategorientheorie codiert es Konzepte als Knoten und ihre Beziehungen als Kanten, unterstützt hierarchisches Schließen und adaptives Lernen durch isomorphe Darstellungen. Demonstrationen umfassen Hypothesengenerierung, Materialdesign und kreatives Schlussfolgern, wie das Entdecken von Beziehungen zwischen mythologischen Konzepten wie 'dünnen Orten' mit Materialwissenschaft. Wir schlagen eine Strategie des 'Wissensgartenwachstums' vor, die Erkenntnisse über Domänen hinweg integriert und interdisziplinäre Verbindungen fördert. Ergebnisse mit einem 3-Milliarden-Parameter-Graph-PReFLexOR-Modell zeigen überlegene Schlusstiefe und Anpassungsfähigkeit und unterstreichen das Potenzial für transparente, multidisziplinäre KI-gesteuerte Entdeckungen. Es legt den Grundstein für allgemeine autonome Schlussfolgerungslösungen.

English

The pursuit of automated scientific discovery has fueled progress from symbolic logic to modern AI, forging new frontiers in reasoning and pattern recognition. Transformers function as potential systems, where every possible relationship remains latent potentiality until tasks impose constraints, akin to measurement. Yet, refining their sampling requires more than probabilistic selection: solutions must conform to specific structures or rules, ensuring consistency and the invocation of general principles. We present Graph-PReFLexOR (Graph-based Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning), a framework that combines graph reasoning with symbolic abstraction to dynamically expand domain knowledge. Inspired by reinforcement learning, Graph-PReFLexOR defines reasoning as a structured mapping, where tasks yield knowledge graphs, abstract patterns, and ultimately, final answers. Inspired by category theory, it encodes concepts as nodes and their relationships as edges, supporting hierarchical inference and adaptive learning through isomorphic representations. Demonstrations include hypothesis generation, materials design, and creative reasoning, such as discovering relationships between mythological concepts like 'thin places' with materials science. We propose a 'knowledge garden growth' strategy that integrates insights across domains, promoting interdisciplinary connections. Results with a 3-billion-parameter Graph-PReFLexOR model show superior reasoning depth and adaptability, underscoring the potential for transparent, multidisciplinary AI-driven discovery. It lays the groundwork for general autonomous reasoning solutions.