CAD-Recode: 포인트 클라우드로부터 CAD 코드를 역공학하는 방법

CAD-Recode: Reverse Engineering CAD Code from Point Clouds

December 18, 2024

저자: Danila Rukhovich, Elona Dupont, Dimitrios Mallis, Kseniya Cherenkova, Anis Kacem, Djamila Aouada

cs.AI

초록

컴퓨터 지원 설계 (Computer-Aided Design, CAD) 모델은 일반적으로 매개 변수 스케치를 순차적으로 그리고 CAD 작업을 적용하여 3D 모델을 획득합니다. 3D CAD 역공학 문제는 포인트 클라우드와 같은 3D 표현으로부터 스케치 및 CAD 작업 순서를 재구성하는 것으로 구성됩니다. 본 논문에서는 CAD 시퀀스 표현, 네트워크 설계 및 데이터셋을 통해 이러한 도전 과제를 다룹니다. 특히, CAD 스케치-추출 시퀀스를 Python 코드로 표현합니다. 제안된 CAD-Recode는 포인트 클라우드를 Python 코드로 변환하여 실행하면 CAD 모델을 재구성합니다. 사전 훈련된 대형 언어 모델 (Large Language Models, LLMs)이 Python 코드에 노출되어 있음을 이용하여, 상대적으로 작은 LLM을 CAD-Recode의 디코더로 활용하고 가벼운 포인트 클라우드 프로젝터와 결합합니다. CAD-Recode는 제안된 다양한 CAD 시퀀스의 합성 데이터셋에서만 훈련되었습니다. CAD-Recode는 입력 포인트가 적은 상태에서도 세 개의 데이터셋 전반에서 기존 방법보다 훨씬 우수한 성능을 보입니다. 특히, DeepCAD 및 Fusion360 데이터셋에서 최첨단 방법에 비해 10배 낮은 평균 챔퍼 거리를 달성합니다. 더욱이, 우리는 CAD Python 코드 출력이 기존 LLMs에서 해석 가능하며, 포인트 클라우드로부터 CAD 편집 및 CAD 특정 질문에 대한 답변을 가능하게 한다는 것을 보여줍니다.

English

Computer-Aided Design (CAD) models are typically constructed by sequentially drawing parametric sketches and applying CAD operations to obtain a 3D model. The problem of 3D CAD reverse engineering consists of reconstructing the sketch and CAD operation sequences from 3D representations such as point clouds. In this paper, we address this challenge through novel contributions across three levels: CAD sequence representation, network design, and dataset. In particular, we represent CAD sketch-extrude sequences as Python code. The proposed CAD-Recode translates a point cloud into Python code that, when executed, reconstructs the CAD model. Taking advantage of the exposure of pre-trained Large Language Models (LLMs) to Python code, we leverage a relatively small LLM as a decoder for CAD-Recode and combine it with a lightweight point cloud projector. CAD-Recode is trained solely on a proposed synthetic dataset of one million diverse CAD sequences. CAD-Recode significantly outperforms existing methods across three datasets while requiring fewer input points. Notably, it achieves 10 times lower mean Chamfer distance than state-of-the-art methods on DeepCAD and Fusion360 datasets. Furthermore, we show that our CAD Python code output is interpretable by off-the-shelf LLMs, enabling CAD editing and CAD-specific question answering from point clouds.