Können große Reasoning-Modelle analoges Reasoning unter Wahrnehmungsunsicherheit durchführen?

Can Large Reasoning Models do Analogical Reasoning under Perceptual Uncertainty?

March 14, 2025

Autoren: Giacomo Camposampiero, Michael Hersche, Roger Wattenhofer, Abu Sebastian, Abbas Rahimi

cs.AI

Zusammenfassung

Diese Arbeit präsentiert eine erste Evaluierung zweier modernster Large Reasoning Models (LRMs), OpenAI's o3-mini und DeepSeek R1, im Bereich des analogen Schließens, mit Fokus auf etablierte nonverbale menschliche IQ-Tests basierend auf den Raven’s Progressive Matrices. Wir benchmarken mit dem I-RAVEN-Datensatz und seiner anspruchsvolleren Erweiterung, I-RAVEN-X, die die Fähigkeit testet, längere Schließregeln und Wertebereiche der Attribute zu verallgemeinern. Um den Einfluss visueller Unsicherheiten auf diese nonverbalen analogen Schließtests zu bewerten, erweitern wir den I-RAVEN-X-Datensatz, der ansonsten eine perfekte Wahrnehmung voraussetzt. Wir verfolgen eine zweigleisige Strategie, um diese unvollkommene visuelle Wahrnehmung zu simulieren: 1) wir führen verwirrende Attribute ein, die zufällig ausgewählt werden und nicht zur Vorhersage der richtigen Antwort der Rätsel beitragen, und 2) glätten wir die Verteilungen der Werte der Eingabeattribute. Wir beobachten einen starken Rückgang der Aufgaben-Genauigkeit von OpenAI's o3-mini, die von 86,6 % auf dem ursprünglichen I-RAVEN auf nur 17,0 % – nahe der Zufallswahrscheinlichkeit – auf dem anspruchsvolleren I-RAVEN-X sinkt, das die Eingabelänge und den Wertebereich erhöht und Wahrnehmungsunsicherheit emuliert. Dieser Rückgang trat trotz eines 3,4-fachen Anstiegs der Schließ-Tokens auf. Ein ähnlicher Trend wird auch für DeepSeek R1 beobachtet: von 80,6 % auf 23,2 %. Andererseits kann ein neuro-symbolisches probabilistisches abduktives Modell, ARLC, das Spitzenleistungen auf I-RAVEN erzielt, robust unter all diesen Out-of-Distribution-Tests schließen und behält eine hohe Genauigkeit bei, mit nur einem moderaten Rückgang von 98,6 % auf 88,0 %. Unser Code ist verfügbar unter https://github.com/IBM/raven-large-language-models.

English

This work presents a first evaluation of two state-of-the-art Large Reasoning Models (LRMs), OpenAI's o3-mini and DeepSeek R1, on analogical reasoning, focusing on well-established nonverbal human IQ tests based on Raven's progressive matrices. We benchmark with the I-RAVEN dataset and its more difficult extension, I-RAVEN-X, which tests the ability to generalize to longer reasoning rules and ranges of the attribute values. To assess the influence of visual uncertainties on these nonverbal analogical reasoning tests, we extend the I-RAVEN-X dataset, which otherwise assumes an oracle perception. We adopt a two-fold strategy to simulate this imperfect visual perception: 1) we introduce confounding attributes which, being sampled at random, do not contribute to the prediction of the correct answer of the puzzles and 2) smoothen the distributions of the input attributes' values. We observe a sharp decline in OpenAI's o3-mini task accuracy, dropping from 86.6% on the original I-RAVEN to just 17.0% -- approaching random chance -- on the more challenging I-RAVEN-X, which increases input length and range and emulates perceptual uncertainty. This drop occurred despite spending 3.4x more reasoning tokens. A similar trend is also observed for DeepSeek R1: from 80.6% to 23.2%. On the other hand, a neuro-symbolic probabilistic abductive model, ARLC, that achieves state-of-the-art performances on I-RAVEN, can robustly reason under all these out-of-distribution tests, maintaining strong accuracy with only a modest reduction from 98.6% to 88.0%. Our code is available at https://github.com/IBM/raven-large-language-models.