물리학 기반의 미숙한 기타 연주를 위해 이중 손을 동기화하다.

Synchronize Dual Hands for Physics-Based Dexterous Guitar Playing

September 25, 2024

저자: Pei Xu, Ruocheng Wang

cs.AI

초록

물리적으로 시뮬레이션된 손에 대한 미숙한 동작을 합성하는 새로운 방법을 제안합니다. 이 방법은 두 손을 제어하는 작업에서 높은 시간적 정밀도를 요구하는 작업에서 협조 제어를 통해 이루어집니다. 두 손을 제어하기 위한 공동 정책을 직접 학습하는 대신, 우리의 방법은 각 손을 개별 에이전트로 취급하여 협력 학습을 수행합니다. 각 손에 대한 개별 정책은 먼저 별도로 훈련되고, 그런 다음 중앙 환경에서 잠재 공간 조작을 통해 동기화되어 두 손 제어의 공동 정책으로 작용합니다. 이를 통해 두 손의 공동 상태-행동 공간에서 정책 학습을 직접 수행하는 것을 피하며, 전반적인 훈련 효율성을 크게 향상시킵니다. 우리는 제안한 방법의 효과를 증명하기 위해 어려운 기타 연주 작업에서 시연합니다. 우리의 방법으로 훈련된 가상 기타 연주자는 일반 기타 연주 연습 동작의 구조화되지 않은 참조 데이터에서 동작을 합성하고, 참조 데이터에는 없는 입력 기타 탭을 기반으로 복잡한 코드 누르기 및 줄 선택 패턴으로 다양한 리듬을 정확하게 연주할 수 있습니다. 본 논문과 함께 정책 훈련을 위한 참조로 수집한 모션 캡처 데이터를 제공합니다. 코드는 다음에서 확인할 수 있습니다: https://pei-xu.github.io/guitar.

English

We present a novel approach to synthesize dexterous motions for physically simulated hands in tasks that require coordination between the control of two hands with high temporal precision. Instead of directly learning a joint policy to control two hands, our approach performs bimanual control through cooperative learning where each hand is treated as an individual agent. The individual policies for each hand are first trained separately, and then synchronized through latent space manipulation in a centralized environment to serve as a joint policy for two-hand control. By doing so, we avoid directly performing policy learning in the joint state-action space of two hands with higher dimensions, greatly improving the overall training efficiency. We demonstrate the effectiveness of our proposed approach in the challenging guitar-playing task. The virtual guitarist trained by our approach can synthesize motions from unstructured reference data of general guitar-playing practice motions, and accurately play diverse rhythms with complex chord pressing and string picking patterns based on the input guitar tabs that do not exist in the references. Along with this paper, we provide the motion capture data that we collected as the reference for policy training. Code is available at: https://pei-xu.github.io/guitar.