PhysicsGen: Können generative Modelle aus Bildern lernen, um komplexe physikalische Zusammenhänge vorherzusagen?

PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?

March 7, 2025

Autoren: Martin Spitznagel, Jan Vaillant, Janis Keuper

cs.AI

Zusammenfassung

Die Fähigkeiten von generativen Lernmodellen zur Bild-zu-Bild-Übersetzung haben in jüngster Zeit bedeutende Fortschritte bei der Schätzung komplexer (gesteuerter) Abbildungen zwischen Bildverteilungen gemacht. Während erscheinungsbasierte Aufgaben wie Bildinpainting oder Stiltransfer bereits ausführlich untersucht wurden, schlagen wir vor, das Potenzial generativer Modelle im Kontext physikalischer Simulationen zu erforschen. Mit der Bereitstellung eines Datensatzes von 300.000 Bildpaaren und Baseline-Auswertungen für drei verschiedene physikalische Simulationsaufgaben schlagen wir ein Benchmark vor, um die folgenden Forschungsfragen zu untersuchen: i) Können generative Modelle komplexe physikalische Zusammenhänge aus Eingabe-Ausgabe-Bildpaaren lernen? ii) Welche Beschleunigungen können durch den Ersatz von Differentialgleichungs-basierten Simulationen erreicht werden? Während Baseline-Auswertungen verschiedener aktueller Modelle das Potenzial für hohe Beschleunigungen (ii) zeigen, offenbaren diese Ergebnisse auch deutliche Grenzen hinsichtlich der physikalischen Korrektheit (i). Dies unterstreicht die Notwendigkeit neuer Methoden zur Durchsetzung physikalischer Korrektheit. Daten, Baseline-Modelle und Evaluierungscode finden Sie unter http://www.physics-gen.org.

English

The image-to-image translation abilities of generative learning models have recently made significant progress in the estimation of complex (steered) mappings between image distributions. While appearance based tasks like image in-painting or style transfer have been studied at length, we propose to investigate the potential of generative models in the context of physical simulations. Providing a dataset of 300k image-pairs and baseline evaluations for three different physical simulation tasks, we propose a benchmark to investigate the following research questions: i) are generative models able to learn complex physical relations from input-output image pairs? ii) what speedups can be achieved by replacing differential equation based simulations? While baseline evaluations of different current models show the potential for high speedups (ii), these results also show strong limitations toward the physical correctness (i). This underlines the need for new methods to enforce physical correctness. Data, baseline models and evaluation code http://www.physics-gen.org.