Prever a Aparência Original de Documentos Históricos Danificados

Predicting the Original Appearance of Damaged Historical Documents

December 16, 2024

Autores: Zhenhua Yang, Dezhi Peng, Yongxin Shi, Yuyi Zhang, Chongyu Liu, Lianwen Jin

cs.AI

Resumo

Documentos históricos abrangem uma riqueza de tesouros culturais, mas sofrem de danos severos, incluindo caracteres ausentes, danos no papel e erosão da tinta ao longo do tempo. No entanto, os métodos existentes de processamento de documentos focam principalmente em binarização, aprimoramento, etc., negligenciando a reparação desses danos. Para isso, apresentamos uma nova tarefa, denominada Reparo de Documentos Históricos (HDR), que tem como objetivo prever a aparência original de documentos históricos danificados. Para preencher essa lacuna nesse campo, propomos um conjunto de dados em grande escala, HDR28K, e uma rede baseada em difusão, DiffHDR, para reparo de documentos históricos. Especificamente, o HDR28K contém 28.552 pares de imagens danificadas-reparadas com anotações ao nível de caracteres e degradações multi-estilo. Além disso, o DiffHDR aumenta o framework de difusão convencional com informações semânticas e espaciais e uma perda perceptual de caracteres meticulosamente projetada para coerência contextual e visual. Resultados experimentais demonstram que o DiffHDR proposto, treinado usando o HDR28K, supera significativamente abordagens existentes e exibe desempenho notável no tratamento de documentos danificados reais. Notavelmente, o DiffHDR também pode ser estendido para edição de documentos e geração de blocos de texto, demonstrando sua alta flexibilidade e capacidade de generalização. Acreditamos que este estudo poderia inaugurar uma nova direção no processamento de documentos e contribuir para a herança de culturas e civilizações inestimáveis. O conjunto de dados e o código estão disponíveis em https://github.com/yeungchenwa/HDR.

English

Historical documents encompass a wealth of cultural treasures but suffer from severe damages including character missing, paper damage, and ink erosion over time. However, existing document processing methods primarily focus on binarization, enhancement, etc., neglecting the repair of these damages. To this end, we present a new task, termed Historical Document Repair (HDR), which aims to predict the original appearance of damaged historical documents. To fill the gap in this field, we propose a large-scale dataset HDR28K and a diffusion-based network DiffHDR for historical document repair. Specifically, HDR28K contains 28,552 damaged-repaired image pairs with character-level annotations and multi-style degradations. Moreover, DiffHDR augments the vanilla diffusion framework with semantic and spatial information and a meticulously designed character perceptual loss for contextual and visual coherence. Experimental results demonstrate that the proposed DiffHDR trained using HDR28K significantly surpasses existing approaches and exhibits remarkable performance in handling real damaged documents. Notably, DiffHDR can also be extended to document editing and text block generation, showcasing its high flexibility and generalization capacity. We believe this study could pioneer a new direction of document processing and contribute to the inheritance of invaluable cultures and civilizations. The dataset and code is available at https://github.com/yeungchenwa/HDR.