어떤 해가 있을까? 인간 중심 연구를 통해 기계 번역에서의 성 차별의 현실적 영향을 양적으로 평가하기

What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study

October 1, 2024

저자: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli

cs.AI

초록

기계 번역(MT)에서의 성 차별은 사람들과 사회에 해를 끼칠 수 있는 문제로 인식되고 있습니다. 그럼에도 불구하고, 이 분야의 발전은 거의 결국 MT 사용자인 사람들을 포함하거나, 편향된 기술이 그들에게 어떤 영향을 미칠 수 있는지 알려주지 않습니다. 현재의 평가는 자동 방법에 제한되어 있으며, 이는 성 차별의 하류 영향이 무엇일지에 대한 불투명한 추정을 제공합니다. 우리는 MT의 편향이 여성과 남성 사이의 서비스 품질 격차와 같은 구체적인 비용이 발생하는지 여부를 조사하기 위해 광범위한 인간 중심 연구를 실시합니다. 이를 위해 MT 결과물을 올바른 성 번역을 보장하기 위해 90명의 참가자로부터 행동 데이터를 수집합니다. 여러 데이터셋, 언어 및 사용자 유형을 대상으로 한 우리의 연구는 여성의 후편집 요구가 상당히 더 많은 기술적 및 시간적 노력을 필요로 하며, 이는 높은 금전적 비용과 일치합니다. 그러나 기존의 편향 측정은 발견된 격차를 반영하지 못합니다. 우리의 연구 결과는 사회적 영향을 알려줄 수 있는 인간 중심 접근 방식을 옹호합니다.

English

Gender bias in machine translation (MT) is recognized as an issue that can harm people and society. And yet, advancements in the field rarely involve people, the final MT users, or inform how they might be impacted by biased technologies. Current evaluations are often restricted to automatic methods, which offer an opaque estimate of what the downstream impact of gender disparities might be. We conduct an extensive human-centered study to examine if and to what extent bias in MT brings harms with tangible costs, such as quality of service gaps across women and men. To this aim, we collect behavioral data from 90 participants, who post-edited MT outputs to ensure correct gender translation. Across multiple datasets, languages, and types of users, our study shows that feminine post-editing demands significantly more technical and temporal effort, also corresponding to higher financial costs. Existing bias measurements, however, fail to reflect the found disparities. Our findings advocate for human-centered approaches that can inform the societal impact of bias.