Optimierung der Zerlegung für die optimale Überprüfung von Behauptungen

Optimizing Decomposition for Optimal Claim Verification

March 19, 2025

Autoren: Yining Lu, Noah Ziems, Hy Dang, Meng Jiang

cs.AI

Zusammenfassung

Aktuelle Forschungen zum Decompose-Then-Verify-Paradigma zur Bewertung der Faktizität von Langtexten behandeln typischerweise die Zerlegung und Verifizierung isoliert, wobei ihre Interaktionen und potenzielle Fehlausrichtung übersehen werden. Wir stellen fest, dass bestehende Zerlegungsstrategien, die üblicherweise handgefertigte Demonstrationen sind, nicht gut mit nachgelagerten Verifizierern in Bezug auf die Atomarität – eine neuartige Metrik zur Quantifizierung der Informationsdichte – übereinstimmen, was zu suboptimalen Verifizierungsergebnissen führt. Wir formulieren die Suche nach der optimalen Zerlegungsstrategie für eine optimale Verifizierung als ein bilevel Optimierungsproblem. Um eine Lösung für dieses stark NP-schwere Problem anzunähern, schlagen wir die dynamische Zerlegung vor, ein Reinforcement-Learning-Framework, das Feedback des Verifizierers nutzt, um eine Strategie zur dynamischen Zerlegung von Behauptungen in die vom Verifizierer bevorzugte Atomarität zu erlernen. Experimentelle Ergebnisse zeigen, dass die dynamische Zerlegung bestehende Zerlegungsstrategien übertrifft und die Verifizierungszuversicht um 0,07 und die Genauigkeit um 0,12 (auf einer Skala von 0-1) im Durchschnitt über verschiedene Verifizierer, Datensätze und Atomaritäten der Eingabebehauptungen verbessert.

English

Current research on the Decompose-Then-Verify paradigm for evaluating the factuality of long-form text typically treats decomposition and verification in isolation, overlooking their interactions and potential misalignment. We find that existing decomposition policies, typically hand-crafted demonstrations, do not align well with downstream verifiers in terms of atomicity -- a novel metric quantifying information density -- leading to suboptimal verification results. We formulate finding the optimal decomposition policy for optimal verification as a bilevel optimization problem. To approximate a solution for this strongly NP-hard problem, we propose dynamic decomposition, a reinforcement learning framework that leverages verifier feedback to learn a policy for dynamically decomposing claims to verifier-preferred atomicity. Experimental results show that dynamic decomposition outperforms existing decomposition policies, improving verification confidence by 0.07 and accuracy by 0.12 (on a 0-1 scale) on average across varying verifiers, datasets, and atomcities of input claims.