로봇 기반 모델 감사를 위한 실체화된 레드 팀 구성

초록

언어 조건이 있는 로봇 모델은 자연어 지시에 기반한 다양한 작업을 수행할 수 있는 잠재력을 가지고 있습니다. 그러나 그들의 안전성과 효과를 평가하는 것은 여전히 어려운데, 왜냐하면 하나의 작업이 어떻게 표현될 수 있는지 모든 다양한 방법을 테스트하는 것이 어렵기 때문입니다. 현재의 벤치마크는 두 가지 주요 제한 사항이 있습니다: 제한된 인간이 생성한 지시 목록에 의존하며 많은 어려운 경우를 놓치며, 안전성 평가를 포함하지 않고 작업 성능에만 초점을 맞춥니다. 이러한 공백을 해결하기 위해 우리는 다양하고 어려운 지시를 생성하여 이러한 모델을 테스트하는 새로운 평가 방법인 '체현된 레드 팀(Embodied Red Teaming, ERT)'을 소개합니다. ERT는 시각 언어 모델(Vision Language Models, VLMs)과 자동화된 레드 팀 기법을 사용하여 맥락에 맞게 어려운 지시를 생성합니다. 실험 결과는 최신 언어 조건이 있는 로봇 모델이 ERT에서 생성된 지시에 실패하거나 안전하지 않게 행동한다는 것을 보여주며, 현재의 벤치마크가 실제 성능과 안전성을 평가하는 데 있어서의 단점을 강조합니다. 코드 및 비디오는 다음 링크에서 확인할 수 있습니다: https://s-karnik.github.io/embodied-red-team-project-page.

English

Language-conditioned robot models have the potential to enable robots to perform a wide range of tasks based on natural language instructions. However, assessing their safety and effectiveness remains challenging because it is difficult to test all the different ways a single task can be phrased. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art language-conditioned robot models fail or behave unsafely on ERT-generated instructions, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://s-karnik.github.io/embodied-red-team-project-page.

로봇 기반 모델 감사를 위한 실체화된 레드 팀 구성

Embodied Red Teaming for Auditing Robotic Foundation Models

초록

Summary

Support