選擇：圖像分類數據整理策略的大規模基準測試

SELECT: A Large-Scale Benchmark of Data Curation Strategies for Image Classification

October 7, 2024

作者: Benjamin Feuer, Jiawei Xu, Niv Cohen, Patrick Yubeaton, Govind Mittal, Chinmay Hegde

cs.AI

摘要

資料策展是如何將樣本收集並組織成支持有效學習的數據集的問題。儘管這項任務至關重要，但很少有工作致力於對各種策展方法進行大規模、系統性比較。在這項工作中，我們朝著對資料策展策略進行正式評估邁出了一步，並引入了 SELECT，這是用於圖像分類的第一個大規模策展策略基準測試。 為了為 SELECT 基準測試生成基準方法，我們創建了一個新的數據集 ImageNet++，這是迄今為止 ImageNet-1K 的最大超集。我們的數據集通過 5 種新的訓練數據轉移擴展了 ImageNet，每種轉移大約與 ImageNet-1K 本身的大小相當，並且每種轉移都是使用不同的策展策略組合而成。我們通過兩種方式評估我們的資料策展基準：(i) 使用每個訓練數據轉移從頭開始訓練相同的圖像分類模型 (ii) 使用數據本身來擬合預訓練的自監督表示。 我們的研究結果顯示了有趣的趨勢，特別是關於最近的資料策展方法，如合成數據生成和基於 CLIP 嵌入的查找。我們發現，儘管這些策略對於某些任務非常有競爭力，但用於組合原始 ImageNet-1K 數據集的策展策略仍然是黃金標準。我們預計我們的基準測試可以為新方法開闢道路，進一步縮小差距。我們在 https://github.com/jimmyxu123/SELECT 上發布了我們的檢查點、代碼、文檔和數據集鏈接。

English

Data curation is the problem of how to collect and organize samples into a dataset that supports efficient learning. Despite the centrality of the task, little work has been devoted towards a large-scale, systematic comparison of various curation methods. In this work, we take steps towards a formal evaluation of data curation strategies and introduce SELECT, the first large-scale benchmark of curation strategies for image classification. In order to generate baseline methods for the SELECT benchmark, we create a new dataset, ImageNet++, which constitutes the largest superset of ImageNet-1K to date. Our dataset extends ImageNet with 5 new training-data shifts, each approximately the size of ImageNet-1K itself, and each assembled using a distinct curation strategy. We evaluate our data curation baselines in two ways: (i) using each training-data shift to train identical image classification models from scratch (ii) using the data itself to fit a pretrained self-supervised representation. Our findings show interesting trends, particularly pertaining to recent methods for data curation such as synthetic data generation and lookup based on CLIP embeddings. We show that although these strategies are highly competitive for certain tasks, the curation strategy used to assemble the original ImageNet-1K dataset remains the gold standard. We anticipate that our benchmark can illuminate the path for new methods to further reduce the gap. We release our checkpoints, code, documentation, and a link to our dataset at https://github.com/jimmyxu123/SELECT.