Prevedere l'Aspetto Originale dei Documenti Storici Danneggiati

Predicting the Original Appearance of Damaged Historical Documents

December 16, 2024

Autori: Zhenhua Yang, Dezhi Peng, Yongxin Shi, Yuyi Zhang, Chongyu Liu, Lianwen Jin

cs.AI

Abstract

I documenti storici racchiudono una ricchezza di tesori culturali ma soffrono di gravi danni, tra cui caratteri mancanti, danni alla carta e erosione dell'inchiostro nel tempo. Tuttavia, i metodi esistenti di elaborazione dei documenti si concentrano principalmente sulla binarizzazione, miglioramento, ecc., trascurando la riparazione di questi danni. A questo scopo, presentiamo un nuovo compito, denominato Riparazione di Documenti Storici (HDR), che mira a prevedere l'aspetto originale dei documenti storici danneggiati. Per colmare questa lacuna in questo campo, proponiamo un dataset su larga scala HDR28K e una rete basata sulla diffusione, DiffHDR, per la riparazione di documenti storici. In particolare, HDR28K contiene 28.552 coppie di immagini danneggiate-riparate con annotazioni a livello di carattere e degradazioni multi-stile. Inoltre, DiffHDR amplia il framework di diffusione di base con informazioni semantiche e spaziali e una perdita percettiva carattere attentamente progettata per coerenza contestuale e visiva. I risultati sperimentali dimostrano che il proposto DiffHDR addestrato utilizzando HDR28K supera significativamente gli approcci esistenti e mostra prestazioni notevoli nel trattare documenti danneggiati reali. In particolare, DiffHDR può essere esteso anche all'editing di documenti e alla generazione di blocchi di testo, dimostrando la sua elevata flessibilità e capacità di generalizzazione. Riteniamo che questo studio possa aprire una nuova direzione nell'elaborazione dei documenti e contribuire all'eredità di culture e civiltà preziose. Il dataset e il codice sono disponibili su https://github.com/yeungchenwa/HDR.

English

Historical documents encompass a wealth of cultural treasures but suffer from severe damages including character missing, paper damage, and ink erosion over time. However, existing document processing methods primarily focus on binarization, enhancement, etc., neglecting the repair of these damages. To this end, we present a new task, termed Historical Document Repair (HDR), which aims to predict the original appearance of damaged historical documents. To fill the gap in this field, we propose a large-scale dataset HDR28K and a diffusion-based network DiffHDR for historical document repair. Specifically, HDR28K contains 28,552 damaged-repaired image pairs with character-level annotations and multi-style degradations. Moreover, DiffHDR augments the vanilla diffusion framework with semantic and spatial information and a meticulously designed character perceptual loss for contextual and visual coherence. Experimental results demonstrate that the proposed DiffHDR trained using HDR28K significantly surpasses existing approaches and exhibits remarkable performance in handling real damaged documents. Notably, DiffHDR can also be extended to document editing and text block generation, showcasing its high flexibility and generalization capacity. We believe this study could pioneer a new direction of document processing and contribute to the inheritance of invaluable cultures and civilizations. The dataset and code is available at https://github.com/yeungchenwa/HDR.