图像修复（Image Restoration）算法数据集详细介绍

目录

人脸数据集

1.Helen Face

2.CelebA (Celebrity Attribute)

3.CelebA-HQ

4.FFHQ（Flickr-Faces-HQ）

场景数据集

1.MS COCO (Common Objects in Context)

2.ImageNet

3.Places2

街景数据集

1.Paris StreetView

2.Cityscapes

纹理数据集

DTD（Describable Textures Dataset）

建筑数据集

Façade

人脸数据集

1.Helen Face

数据集介绍：

Helen Face数据集是一个用于人脸关键点检测的数据集,其中包含了2330张人脸图片，涵盖了不同的姿态，表情，光照等多种条件。每张图片都有对应的标签，包括人脸关键点位置信息。这个数据集是由 Helen 课题组在 2011 年开发的，用于训练和评估人脸关键点检测算法。由于 Helen Face 数据集包含了大量人脸图像，且关键点已经标记，所以可以用于训练算法识别人脸关键点的能力。

在训练图像修复算法中，由于 Helen Face 数据集中的图像涵盖了不同的姿态，表情，光照等多种条件可以用于训练人脸关键点检测算法；也可以用于训练人脸修复算法，例如训练算法去除图像中人脸遮挡，模糊等问题。

数据集来源：

链接：http://www.ifp.illinois.edu/~vuongle2/helen/

制作机构：Helen 课题组(由美国伊利诺伊大学香槟分校的计算机科学和工程系组成的研究小组)

原始文章：A. S. Razavian, H. Azizpour, J. Sullivan, and S. Carlsson, “CNN features off-the-shelf: an astounding baseline for recognition,” in IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2014, pp. 806-813.

样本示例：

2.CelebA (Celebrity Attribute)

数据集介绍：

CelebA数据集是一个由人脸图像和相关属性标签组成的数据集。它包含了超过 200,000 张高分辨率的人脸图像，这些图像来自于超过 10,000 位不同的名人。每张图像都有 40 个不同的属性标签，如性别，年龄，鬓角，眼睛颜色等等，这些标签可以用来训练和评估计算机视觉系统。

CelebA 数据集由大量高质量的人脸图像组成，因此可以用来训练和评估图像修复算法。例如，可以在 CelebA 数据集上训练一个算法来修复面部遮挡的图像，或者在数据集上预测缺失部分的颜色和纹理。

数据集来源：

链接：CelebA Dataset

制作机构：香港中文大学的媒体实验室 (Multimedia Laboratory, CUHK)

原始文章：Liu, Z., Luo, P., Wang, X., & Tang, X. (2015). Deep learning face attributes in the wild. In Proceedings of the IEEE International Conference on Computer Vision (pp. 3730-3738)

样本示例:

3.CelebA–HQ

数据集介绍：

CelebA-HQ数据集是CelebA数据集的升级版，是一个由高分辨率人脸图像和相关属性标签组成的数据集。它包含了超过 30,000 张高分辨率（1024×1024）的人脸图像，这些图像来自于超过 1,000 位不同的名人。每张图像都有 40 个不同的属性标签，如性别，年龄，鬓角，眼睛颜色等等，这些标签可以用来训练和评估计算机视觉系统。CelebA-HQ 数据集主要用于高分辨率人脸生成和超分辨率重建任务，因为它提供了高分辨率人脸图像和相关属性标签。

与 CelebA 数据集相比，CelebA-HQ数据集具有更高的分辨率和更多的样本，因此可以更好的用于高分辨率人脸生成和超分辨率重建任务。CelebA-HQ 数据集中每张图片都有多种属性标签,这可以让图像修复算法在修复图像的同时考虑属性信息，如性别，年龄，发色等，从而更好的修复图像,更接近真实人脸的样子。

数据集来源

链接：https://github.com/tkarras/progressive_growing_of_gans

制作机构：Tero Karras, Samuli Laine, Timo Aila 和 NVIDIA 的研究人员制作

原始文章：Karras, T., Laine, S., & Aila, T. (2018). Progressive growing of gans for improved quality, stability, and variation. In International Conference on Learning Representations.

样本示例:

4.FFHQ（Flickr–Faces–HQ）

数据集介绍：

FFHQ数据集是一个高质量人脸图像数据集，包含了超过 70,000 张高分辨率（1024×1024）的人脸图像，这些图像来自于超过 8,000 位不同的名人。每张图像都有多种属性标签,这些标签可以用来训练和评估计算机视觉系统。

FFHQ 数据集主要用于生成对抗网络 (GAN) 的训练和评估，因为它提供了大量高分辨率人脸图像和相关属性标签。与CelebA-HQ 数据集相比，FFHQ数据集更大，更具多样性，更适合用于高质量人脸生成任务。

在训练图像修复模型时，使用 FFHQ 数据集可以使模型学习高分辨率人脸的细节，并且可以通过属性标签来保证修复后的图像更符合人脸的真实性。对于图像修复算法而言,FFHQ数据集可以用于超分辨率重建,高分辨率人脸生成和图像修复等任务，可以更好的修复面部特征，如眼睛，鼻子和嘴巴。

数据集来源

链接：https://github.com/NVlabs/ffhq-dataset

制作机构：Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila 等 NVIDIA 研究人员

原始文章：Karras, T., Laine, S., Aittala, M., Hellsten, J., Lehtinen, J., & Aila, T. (2019). A style-based generator architecture for generative adversarial networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4401-4410).

样本示例

场景数据集

1.MS COCO (Common Objects in Context)

数据集介绍：

MS COCO数据集是一个大型图像数据集，用于目标检测，语义分割和其他计算机视觉任务。这个数据集包含了超过 330,000 张图像，这些图像中包含了超过 2.5 亿个对象实例。

MS COCO 数据集的主要特点是：

1)数据量大，包含了 80 种不同的物体类别。

2)高质量的标注，每张图像都有多个标注框，包括对象类别和位置信息。

对于图像修复算法而言,MS COCO数据集可以用于语义信息的融合, 以及对象的生成和修复等任务。它能帮助模型学习识别各种物体并且能够更好的修复它们。这对于图像修复算法来说是非常有用的，因为它能够使模型能够更好的识别和修复图像中的物体。

数据集来源

链接：COCO – Common Objects in Context

制作机构：由微软亚洲研究院，斯坦福大学，卡内基梅隆大学等机构联合制作

原始文章：Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., … & Zitnick, C. L. (2014, June). Microsoft coco: Common objects in context. In European conference on computer vision (pp. 740-755). Springer, Cham

样本示例:

2.ImageNet

数据集介绍：

ImageNet数据集是一个非常流行的大型图像数据集，主要用于计算机视觉任务，如图像分类，物体检测和实例分割。这个数据集包含了超过14万张不同类别的图像，总共分为1000类。

ImageNet数据集主要特点是：

1)数据量大，包含了1000种不同的物体类别。

2)高质量的标注，每张图像都有多个标注框，包括物体类别。

3)每年都会进行比赛，比赛中会使用这个数据集，可以帮助研究者评估和比较不同算法的性能。

对于图像修复算法而言，ImageNet数据集可以用于语义信息的融合，以及对象的生成和修复等任务。它能帮助模型学习识别各种物体,并且能够更好的修复它们，使得图像修复算法的结果更加真实。除此之外, 还可以用于图像修复算法的评估, 通过对比修复前后的图像来评估修复算法的性能，以及对比不同算法之间的优劣。

数据集来源：

链接：ImageNet

制作机构：斯坦福大学，加州理工学院，微软亚洲研究院，华盛顿大学和其他机构联合制作

原始文章：Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., & Fei-Fei, L. (2009, June). Imagenet: A large-scale hierarchical image database. In 2009 IEEE conference on computer vision and pattern recognition (pp. 248-255). IEEE.

样本示例：

3.Places2

数据集介绍：

Places2数据集是一个大型的场景图像数据集，这个数据集共包含了10万张高质量的场景图像。

Places2数据集主要特点是：

1)数据量大，包含了405种不同的场景类别。

2)高质量的图像，每张图像都清晰可见。

3)多样性，数据集中的场景包括了城市、森林、海滩、室内等。

数据集来源

链接：Places2: A Large-Scale Database for Scene Understanding

制作机构：斯坦福大学和微软研究院共同制作

原始文章：B. Zhou, H. Zhao, X. Puig, S. Fidler, A. Barriuso and A. Torralba. “Places: A 10 million Image Database for Scene Recognition” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017

样本示例

街景数据集

1.Paris StreetView

数据集介绍：

Paris StreetView数据集是一个大型的街景图像数据集，包含了法国巴黎市的街景图像。共收集了超过100万张高分辨率的街景图像，其中包括了城市中各种不同的建筑，街道，景观等。

Paris StreetView数据集作为一个大型的街景图像数据集，在研究图像修复算法中可以用来训练和评估图像修复模型。因为这个数据集包含了大量的高分辨率街景图像, 其中可能包含了图像损坏，运动模糊，噪声等问题. 因此，可以使用这个数据集来训练图像修复模型，使其能够更好地适应实际应用中的图像问题。

数据集来源

链接：http://opendata.paris.fr/explore/dataset/photos-de-rue-a-paris/

制作机构：巴黎市政府

原始文章：（不是出自文章，是一个公共数据集）

样本示例

2.Cityscapes

数据集介绍：

Cityscapes数据集是一个高质量的城市街景图像数据集，它包含了大量的高分辨率街景图像，这些图像来自于欧洲主要城市（如：巴黎，伦敦，柏林等）。这个数据集还包括了这些图像对应的标注信息，如道路，建筑，树木等。

Cityscapes数据集作为一个大型的城市街景图像数据集，可以用于训练和评估图像修复模型。因为这个数据集包含了大量的高分辨率街景图像，其中可能包含了图像损坏，运动模糊，噪声等问题。因此，可以使用这个数据集来训练图像修复模型，使其能够更好地适应实际应用中的图像问题。

此外， Cityscapes数据集还可以用于其他任务，例如图像分类，目标检测，语义分割等。这些任务可以帮助图像修复算法更好地理解图像的结构和语义，提高图像修复模型的性能。还可以用于自动驾驶研究，城市规划等领域的研究，帮助图像修复算法更好的适应实际场景。

数据集来源

链接：Cityscapes Dataset – Semantic Understanding of Urban Street Scenes

制作机构：由 Daimler AG, Ford Motor Company, Audi AG, NVIDIA Corporation, and the Technical University of Munich. 五家机构共同制作。

原始文章： Cordts, M., Omran, M., Ramos, S., Rehfeld, T., Enzweiler, M., Benenson, R., Franke, U., Roth, S., & Schiele, B. (2016). The Cityscapes Dataset for Semantic Urban Scene Understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)

样本示例

纹理数据集

DTD（Describable Textures Dataset）

数据集介绍：

DTD数据集是一个用于计算机视觉和图像处理研究的大型数据集。它包含了超过56,000张图像，涵盖了超过47种不同纹理类型。每张图像都有对应的文本描述，这些描述用于描述图像中的纹理特征。DTD数据集用于训练和评估图像分类和纹理分析算法。

DTD数据集中的图像和对应的文本描述用于训练图像修复算法。在训练过程中，算法将学习如何根据文本描述来修复图像中的纹理。例如，算法可以学习如何根据“石头纹理”这个文本描述来修复一张损坏的图像中的石头纹理。经过训练后，算法就能够在未知图像中识别和修复不同类型的纹理。

需要注意的是 DTD 数据集是用于分类和纹理分析算法，而不是用于图像修复算法, DTD 中的图像本身是没有被破坏过的，在训练图像修复算法时，需要额外处理将图像损坏后再进行训练。

数据集来源

链接：http://www.robots.ox.ac.uk/~vgg/data/dtd/。

制作机构：英国牛津大学计算机视觉研究团队

原始文章：“The Describable Textures Dataset (DTD)”E. Cimpoi, M. Maji, S. Mohamed, and I. Kokkinos.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

样本示例

建筑数据集

Façade

数据集介绍：

Façade数据集是一个非常流行的用于计算机视觉和深度学习研究的数据集。它包含了大量具有不同角度、光照和遮挡的建筑物立面图像。这些图像的尺寸是1024×1024像素，每张图片都有对应的标签图像，其中包含了建筑物立面的几何形状和材料类型的标签。Façade数据集被广泛用于训练深度学习模型来预测建筑物立面的几何形状和材料类型。

这个数据集有多种标签，包括：

1）建筑物立面的几何形状，如窗户、门、墙等。

2）建筑物立面的材料类型，如玻璃、铝板、石材等。

3）建筑物立面的光照状态，如阴影、阳光等。

图像修复算法通常被用于恢复损坏或遮挡的图像，例如填补缺失的部分或去除噪点。 Façade数据集中的图像具有自然的遮挡和噪点，因此是一个很好的用于评估图像修复算法性能的数据集。

例如，研究人员可以使用Façade数据集训练深度学习模型来预测建筑物立面的几何形状和材料类型，然后将这些预测用于修复图像中的遮挡或缺失部分。另外，可以用这个数据集来评估不同图像修复算法的性能，选择最佳算法。

数据集来源：

链接：

GitHub上的项目：https://github.com/shannontian/facade-parsing

官方网站：CMP Facade Database

数据集共享平台：https://www.vision.ee.ethz.ch/datasets_extra/facade/

制作机构：Czech Technical University in Prague (捷克技术大学)

原始文章：A Dataset for Building Facade Parsing and Its Applications in Automatic Facade Design” by T.Y. Lin, A. Maier, A. Prusa, and J. Kosecka in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016

样本示例