视觉皮层的架构

大卫·H·休贝尔和 Torsten Wiesel 在1958 年1和1959 年2（以及几年后的猴子3）对猫进行了一系列实验，对视觉皮层的结构提供了重要的见解（作者于 1981 年获得了诺贝尔生理学或医学奖为他们的工作）。特别是，他们表明，视觉皮层中的许多神经元具有小的局部感受野，这意味着它们仅对位于视野有限区域的视觉刺激作出反应（见图 14-1，其中 5 个局部感受野神经元由虚线圆圈表示）。不同神经元的感受野可能会重叠，它们一起平铺整个视野。

此外，作者表明，一些神经元只对水平线的图像有反应，而另一些神经元只对不同方向的线有反应（两个神经元可能具有相同的感受野，但对不同的线方向有反应）。他们还注意到，一些神经元具有更大的感受野，它们会对由较低层次模式组合而成的更复杂模式做出反应。这些观察导致了高层神经元基于相邻低层神经元的输出的想法（在图 14-1中，请注意每个神经元仅连接到前一层的几个神经元）。这种强大的架构能够检测视野任何区域中的各种复杂模式。

这些对视觉皮层的研究启发了1980 年引入的neocognitron4，它逐渐演变成我们现在所说的卷积神经网络。一个重要的里程碑是Yann LeCun 等人在1998 年发表的一篇论文5 。它引入了著名的LeNet-5架构，被银行广泛用于识别手写支票号码。这个架构有一些你已经知道的构建块，例如全连接层和 sigmoid 激活函数，但它还引入了两个新的构建块：卷积层和池化层。现在让我们看看它们。

卷积层

这CNN 最重要的构建块是卷积层：第一个卷积层中的6 个神经元并没有连接到输入图像中的每个像素（就像它们在前几章讨论的层中一样），而只连接到它们的接受像素字段（见图 14-2）。反过来，第二个卷积层中的每个神经元只连接到位于第一层的一个小矩形内的神经元。这种架构允许网络专注于第一个隐藏层中小的低级特征，然后将它们组装成下一个隐藏层中更大的高级特征，依此类推。这种层次结构在现实世界的图像中很常见，这也是 CNN 在图像识别方面表现出色的原因之一。

位于给定层的第i行、第j列的神经元连接到位于第i到i+fh– 1 行、第j到j+fw– 1 列的前一层神经元的输出，其中fhfw是感受野的高度和宽度（见图14-3）。为了使层具有与前一层相同的高度和宽度，通常在输入周围添加零，如图所示。这个称为零填充。

如图 14-4所示，也可以通过分隔感受野来将一个大的输入层连接到一个小得多的层。这大大降低了模型的计算复杂度。从一个感受野到一个感受野的转变接下来称为步幅。在图中，一个 5 × 7 的输入层（加上零填充）连接到一个 3 × 4 的层，使用 3 × 3 的感受野和 2 的步幅（在这个例子中，两个方向的步幅相同，但它不必如此）。位于上层第 i 行第 j 列的神经元连接到位于第i×sh到i×sh+fh–1行、第j×sw到j列的前一层神经元的输出×sw+fw– 1，其中sh和sw是垂直和水平步幅。

from sklearn.datasets import load_sample_image# Load sample imageschina = load_sample_image("china.jpg") / 255flower = load_sample_image("flower.jpg") / 255images = np.array([china, flower])batch_size, height, width, channels = images.shape# Create 2 filtersfilters = np.zeros(shape=(7, 7, channels, 2), dtype=np.float32)filters[:, 3, :, 0] = 1 # vertical linefilters[3, :, :, 1] = 1 # horizontal lineoutputs = tf.nn.conv2d(images, filters, strides=1, padding="SAME")plt.imshow(outputs[0, :, :, 1], cmap="gray") # plot 1st image's 2nd feature mapplt.show()

conv = keras.layers.Conv2D(filters=32, kernel_size=3, strides=1,padding="same", activation="relu")

池化层

一次你了解卷积层是如何工作的，池化层很容易掌握。他们的目标是对输入图像进行二次采样（即缩小），以减少计算负载、内存使用和参数数量（从而限制过拟合的风险）。

就像在卷积层中一样，池化层中的每个神经元都连接到前一层中有限数量的神经元的输出，这些神经元位于一个小的矩形感受野内。您必须像以前一样定义它的大小、步幅和填充类型。然而，池化神经元没有权重。它所做的只是使用聚合函数（例如最大值或平均值）聚合输入。图 14-8显示最大池化层，这是最常见的池化层类型。在此示例中，我们使用 2 × 2池化内核9，步长为 2，无填充。只有每个感受野中的最大输入值才能进入下一层，而其他输入则被丢弃。例如，在图 14-8的左下感受野中，输入值为 1、5、3、2，因此只有最大值 5 会传播到下一层。由于步幅为 2，输出图像的高度和宽度是输入图像的一半（由于我们没有使用填充，因此向下舍入）。

图 14-8。最大池化层（2 × 2 池化内核，步幅 2，无填充）

其他除了减少计算量、内存使用量和参数数量之外，最大池化层还为小型平移引入了某种程度的不变性，如图 14-9所示.在这里，我们假设亮像素的值低于暗像素，并且我们考虑三个图像（A、B、C）通过具有 2 × 2 内核和步长 2 的最大池化层。图像 B 和 C 相同与图像 A 相同，但向右移动了 1 个和 2 个像素。如您所见，图像 A 和 B 的最大池化层的输出是相同的。这就是翻译不变性的意思。对于图像 C，输出不同：它向右移动了一个像素（但仍有 50% 的不变性）。通过在 CNN 中每隔几层插入一个最大池化层，就有可能在更大的范围内获得某种程度的平移不变性。此外，最大池化提供了少量的旋转不变性和轻微的尺度不变性。

然而，最大池也有一些缺点。首先，它显然是非常具有破坏性的：即使使用很小的 2 × 2 内核和 2 步幅，输出在两个方向上都会小两倍（因此它的面积将小四倍），只需丢弃 75% 的输入价值观。并且在某些应用中，不变性是不可取的。拿语义分割（根据像素所属的对象对图像中的每个像素进行分类的任务，我们将在本章后面探讨）：显然，如果输入图像向右平移一个像素，则输出应该也向右平移一个像素。在这种情况下，目标是等变，而不是不变：输入的微小变化应该导致输出的相应微小变化。

max_pool = keras.layers.MaxPool2D(pool_size=2)

output = tf.nn.max_pool(images,ksize=(1, 1, 1, 3),strides=(1, 1, 1, 3),padding="VALID")

depth_pool = keras.layers.Lambda(lambda X: tf.nn.max_pool(X, ksize=(1, 1, 1, 3), strides=(1, 1, 1, 3),padding="VALID"))

global_avg_pool = keras.layers.GlobalAvgPool2D()

global_avg_pool = keras.layers.Lambda(lambda X: tf.reduce_mean(X, axis=[1, 2]))

CNN 架构

典型的CNN架构堆叠了几个卷积层（每个卷积层通常后跟一个 ReLU 层），然后是一个池化层，然后是另外几个卷积层（+ReLU），然后是另一个池化层，依此类推。图像在通过网络时会变得越来越小，但它通常也会变得越来越深（即，具有更多的特征图），这要归功于卷积层（见图 14-11）。在堆栈的顶部，添加了一个常规的前馈神经网络，由几个全连接层（+ReLUs）组成，最后一层输出预测（例如，输出估计类概率的 softmax 层）。

以下是如何实现一个简单的 CNN 来处理 Fashion MNIST 数据集（在第 10 章中介绍）：

model = keras.models.Sequential([keras.layers.Conv2D(64, 7, activation="relu", padding="same",input_shape=[28, 28, 1]),keras.layers.MaxPooling2D(2),keras.layers.Conv2D(128, 3, activation="relu", padding="same"),keras.layers.Conv2D(128, 3, activation="relu", padding="same"),keras.layers.MaxPooling2D(2),keras.layers.Conv2D(256, 3, activation="relu", padding="same"),keras.layers.Conv2D(256, 3, activation="relu", padding="same"),keras.layers.MaxPooling2D(2),keras.layers.Flatten(),keras.layers.Dense(128, activation="relu"),keras.layers.Dropout(0.5),keras.layers.Dense(64, activation="relu"),keras.layers.Dropout(0.5),keras.layers.Dense(10, activation="softmax")])

让我们来看看这个模型：

• 第一层使用 64 个相当大的过滤器（7 × 7），但只有步幅 1，因为输入图像不是很大。它还设置input_shape=[28, 28, 1]，因为图像是 28 × 28 像素，具有单一颜色通道（即灰度）。

• 接下来我们有一个最大池化层，它使用大小为 2 的池，因此它将每个空间维度除以 2。

• 然后我们重复相同的结构两次：两个卷积层，然后是一个最大池化层。对于较大的图像，我们可以将这种结构重复多次（重复次数是您可以调整的超参数）。

• 请注意，随着我们从 CNN 向输出层爬升，过滤器的数量会增加（最初是 64，然后是 128，然后是 256）：增加它是有意义的，因为低级特征的数量通常相当低（例如，小圆圈、水平线），但是有许多不同的方法可以将它们组合成更高级别的特征。在每个池化层之后将过滤器的数量加倍是一种常见的做法：由于池化层将每个空间维度除以 2，因此我们可以将下一层的特征图数量翻倍，而不必担心数量爆炸参数、内存使用或计算负载。

• 接下来是全连接网络，由两个隐藏的密集层和一个密集的输出层组成。请注意，我们必须展平其输入，因为密集网络需要每个实例的一维特征数组。我们还添加了两个 dropout 层，每个层的 dropout 率为 50%，以减少过度拟合。

这个 CNN 在测试集上达到了 92% 以上的准确率。这不是最先进的，但它非常好，而且显然比我们在第 10 章中使用密集网络所取得的成果要好得多。

多年来，已经开发了这种基本架构的变体，从而在该领域取得了惊人的进步。衡量这一进步的一个很好的指标是 ILSVRCImageNet 挑战等比赛中的错误率。在本次比赛中，图像分类前五名的错误率在短短六年内从超过 26% 下降到不到 2.3%。前五位错误率是系统的前五位预测不包括正确答案的测试图像的数量。图像很大（256 像素高），有 1000 个类别，其中一些非常微妙（尝试区分 120 个犬种）。查看获奖作品的演变是了解 CNN 工作原理的好方法。

我们将首先看看经典的 LeNet-5 架构（1998 年），然后是 ILSVRC 挑战赛的三个获胜者：AlexNet（2012 年）、GoogLeNet（2014 年）和 ResNet（2015 年）。

Xception

其他GoogLeNet 架构的变体值得注意：Xception19（代表Extreme Inception）由 François Chollet（Keras 的作者）于 2016 年提出，它在巨大的视觉任务（3.5 亿张图像和 17,000 张类）。就像 Inception-v4 一样，它融合了 GoogLeNet 和 ResNet 的思想，但是它取代了inception 模块具有一种特殊类型的层，称为深度可分离卷积层（或简称为可分离卷积层20）。这些层以前曾在一些 CNN 架构中使用过，但它们不像在 Xception 架构中那样中心化。虽然常规卷积层使用过滤器尝试同时捕获空间模式（例如，椭圆形）和跨通道模式（例如，嘴 + 鼻子 + 眼睛 = 脸），但可分离卷积层强烈假设空间模式和交叉- 通道模式可以单独建模（见图 14-19）。因此，它由两部分组成：第一部分对每个输入特征图应用一个空间滤波器，然后第二部分专门寻找跨通道模式——它只是一个具有 1×1 滤波器的常规卷积层。

图 14-19。深度可分离卷积层

由于可分离卷积层的每个输入通道只有一个空间滤波器，因此应避免在通道太少的层之后使用它们，例如输入层（当然，这就是图 14-19所表示的，但这只是为了说明目的） .出于这个原因，Xception 架构从 2 个常规卷积层开始，但随后架构的其余部分仅使用可分离卷积（总共 34 个），加上几个最大池化层和通常的最终层（一个全局平均池化层和一个密集输出层）。

您可能想知道为什么 Xception 被认为是 GoogLeNet 的变体，因为它根本不包含任何初始模块。好吧，正如我们之前讨论的，一个初始模块包含带有 1 × 1 过滤器的卷积层：这些过滤器专门用于跨通道模式。然而，位于它们之上的卷积层是常规的卷积层，它们同时寻找空间和跨通道模式。因此，您可以将初始模块视为常规卷积层（联合考虑空间模式和跨通道模式）和可分离卷积层（分别考虑它们）之间的中间体。在实践中，似乎可分离卷积层通常表现更好。

小费

与常规卷积层相比，可分离卷积层使用更少的参数、更少的内存和更少的计算，并且通常它们甚至表现更好，因此您应该考虑默认使用它们（除了在具有少量通道的层之后）。

ILSVRC 2016 挑战赛由香港中文大学的 CUImage 团队赢得。他们使用了许多不同技术的集合，包括称为GBD-Net的复杂对象检测系统，21以实现低于 3% 的前五名错误率。尽管这个结果无疑令人印象深刻，但解决方案的复杂性与 ResNet 的简单性形成鲜明对比。此外，一年后，另一个相当简单的架构表现得更好，正如我们现在所看到的。

使用 Keras 实现 ResNet-34 CNN

最多到目前为止描述的 CNN 架构实现起来相当简单（尽管通常你会加载一个预训练的网络，正如我们将看到的那样）。为了说明这个过程，让我们使用 Keras 从头开始​​实现 ResNet-34。首先，让我们创建一个ResidualUnit图层：

class ResidualUnit(keras.layers.Layer):def __init__(self, filters, strides=1, activation="relu", **kwargs):super().__init__(**kwargs)self.activation = keras.activations.get(activation)self.main_layers = [keras.layers.Conv2D(filters, 3, strides=strides,padding="same", use_bias=False),keras.layers.BatchNormalization(),self.activation,keras.layers.Conv2D(filters, 3, strides=1,padding="same", use_bias=False),keras.layers.BatchNormalization()]self.skip_layers = []if strides > 1:self.skip_layers = [keras.layers.Conv2D(filters, 1, strides=strides,padding="same", use_bias=False),keras.layers.BatchNormalization()]def call(self, inputs):Z = inputsfor layer in self.main_layers:Z = layer(Z)skip_Z = inputsfor layer in self.skip_layers:skip_Z = layer(skip_Z)return self.activation(Z + skip_Z)

如你所见，这段代码与图 14-18非常吻合。在构造函数中，我们创建了所有需要的层：主要层是图表右侧的层，跳过层是左侧的层（仅当步幅大于 1 时才需要）。然后在该call()方法中，我们让输入通过主层和跳过层（如果有的话），然后我们添加两个输出并应用激活函数。

接下来，我们可以使用Sequential模型构建 ResNet-34，因为它实际上只是一个很长的层序列（现在我们有了类，我们可以将每个残差单元视为一个层ResidualUnit）：

model = keras.models.Sequential()model.add(keras.layers.Conv2D(64, 7, strides=2, input_shape=[224, 224, 3],padding="same", use_bias=False))model.add(keras.layers.BatchNormalization())model.add(keras.layers.Activation("relu"))model.add(keras.layers.MaxPool2D(pool_size=3, strides=2, padding="same"))prev_filters = 64for filters in [64] * 3 + [128] * 4 + [256] * 6 + [512] * 3:strides = 1 if filters == prev_filters else 2model.add(ResidualUnit(filters, strides=strides))prev_filters = filtersmodel.add(keras.layers.GlobalAvgPool2D())model.add(keras.layers.Flatten())model.add(keras.layers.Dense(10, activation="softmax"))

这段代码中唯一有点棘手的部分是ResidualUnit向模型添加层的循环：如前所述，前 3 个 RU 有 64 个过滤器，接下来的 4 个 RU 有 128 个过滤器，依此类推。然后，当过滤器的数量与之前的 RU 相同时，我们将 stride 设置为 1，否则我们将其设置为 2。然后我们添加ResidualUnit，最后我们更新prev_filters。

令人惊讶的是，在不到 40 行代码中，我们就可以构建赢得 ILSVRC 2015 挑战的模型！这展示了 ResNet 模型的优雅和 Keras API 的表现力。实现其他 CNN 架构并不难。然而，Keras 内置了几个这样的架构，那么为什么不使用它们呢？

使用 Keras 的预训练模型

在一般来说，您不必手动实现像 GoogLeNet 或 ResNet 这样的标准模型，因为预训练的网络很容易通过keras.applications包中的一行代码获得。例如，您可以使用以下代码行加载在 ImageNet 上预训练的 ResNet-50 模型：

model = keras.applications.resnet50.ResNet50(weights="imagenet")

就这样！这将创建一个 ResNet-50 模型并下载在 ImageNet 数据集上预训练的权重。要使用它，您首先需要确保图像具有正确的大小。ResNet-50 模型需要 224 × 224 像素的图像（其他模型可能需要其他尺寸，例如 299 × 299），所以让我们使用 TensorFlow 的tf.image.resize()函数来调整我们之前加载的图像的大小：

images_resized = tf.image.resize(images, [224, 224])

小费

tf.image.resize()不会保留纵横比。如果这是一个问题，请在调整大小之前尝试将图像裁剪为适当的纵横比。两种操作都可以用tf.image.crop_and_resize().

预训练模型假设图像以特定方式进行预处理。在某些情况下，他们可能期望输入从 0 缩放到 1，或从 –1 缩放到 1，依此类推。每个模型都提供了一个preprocess_input()函数，您可以使用它来预处理您的图像。这些函数假定像素值的范围是 0 到 255，因此我们必须将它们乘以 255（因为之前我们将它们缩放到 0-1 范围）：

inputs = keras.applications.resnet50.preprocess_input(images_resized * 255)

现在我们可以使用预训练模型进行预测：

Y_proba = model.predict(inputs)

像往常一样，输出Y_proba是一个矩阵，每个图像一行，每个类一列（在本例中，有 1,000 个类）。如果要显示前K个预测，包括类名和每个预测类的估计概率，请使用该decode_predictions()函数。对于每个图像，它返回一个包含前K个预测的数组，其中每个预测表示为一个包含类标识符、23名称和相应置信度分数的数组：

top_K = keras.applications.resnet50.decode_predictions(Y_proba, top=3)for image_index in range(len(images)):print("Image #{}".format(image_index))for class_id, name, y_proba in top_K[image_index]:print(" {} - {:12s} {:.2f}%".format(class_id, name, y_proba * 100))print()

输出如下所示：

图片#0 n03877845 - 宫殿 42.87% n02825657 - bell_cote 40.57% n03781244 - 修道院 14.56% 图片#1 n04522168 - 花瓶 46.83% n07930864 - 杯 7.78% n11939491 - 雏菊 4.87%

正确的类（修道院和雏菊）出现在两个图像的前三个结果中。考虑到模型必须从 1,000 个类中进行选择，这非常好。

如您所见，使用预训练模型创建一个非常好的图像分类器非常容易。其他视觉模型可用keras.applications，包括几个 ResNet 变体、GoogLeNet 变体（如 Inception-v3 和 Xception）、VGGNet 变体以及 MobileNet 和 MobileNetV2（用于移动应用程序的轻量级模型）。

但是，如果您想对不属于 ImageNet 的图像类别使用图像分类器怎么办？在这种情况下，您仍然可以从预训练模型中受益，以执行迁移学习。

用于迁移学习的预训练模型

如果如果你想构建一个图像分类器，但没有足够的训练数据，那么重用预训练模型的较低层通常是一个好主意，正如我们在第 11 章中讨论的那样。例如，让我们训练一个模型来对花卉图片进行分类，重用一个预训练的 Xception 模型。首先，让我们使用 TensorFlow Datasets 加载数据集（参见第 13 章）：

import tensorflow_datasets as tfdsdataset, info = tfds.load("tf_flowers", as_supervised=True, with_info=True)dataset_size = info.splits["train"].num_examples # 3670class_names = info.features["label"].names # ["dandelion", "daisy", ...]n_classes = info.features["label"].num_classes # 5

请注意，您可以通过设置获取有关数据集的信息with_info=True。在这里，我们得到数据集大小和类的名称。不幸的是，只有一个"train"数据集，没有测试集或验证集，所以我们需要拆分训练集。TF Datasets 项目为此提供了一个 API。例如，让我们将数据集的前 10% 用于测试，接下来的 15% 用于验证，剩下的 75% 用于训练：

test_set_raw, valid_set_raw, train_set_raw = tfds.load("tf_flowers",split=["train[:10%]", "train[10%:25%]", "train[25%:]"],as_supervised=True)

接下来我们必须对图像进行预处理。CNN 需要 224 × 224 的图像，因此我们需要调整它们的大小。我们还需要通过 Xception 的preprocess_input()函数运行图像：

def preprocess(image, label):resized_image = tf.image.resize(image, [224, 224])final_image = keras.applications.xception.preprocess_input(resized_image)return final_image, label

让我们将此预处理功能应用于所有三个数据集，打乱训练集，并为所有数据集添加批处理和预取：

batch_size = 32train_set = train_set.shuffle(1000)train_set = train_set.map(preprocess).batch(batch_size).prefetch(1)valid_set = valid_set.map(preprocess).batch(batch_size).prefetch(1)test_set = test_set.map(preprocess).batch(batch_size).prefetch(1)

如果要执行一些数据增强，请更改训练集的预处理函数，向训练图像添加一些随机变换。例如，用于tf.image.random_crop()随机裁剪图像，用于tf.image.random_flip_left_right()随机水平翻转图像，等等（有关示例，请参见笔记本的“用于迁移学习的预训练模型”部分）。

接下来让我们加载一个在 ImageNet 上预训练的 Xception 模型。我们通过设置排除网络顶部include_top=False：这不包括全局平均池化层和密集输出层。然后，我们根据基本模型的输出添加我们自己的全局平均池化层，然后是一个每类一个单元的密集输出层，使用softmax 激活函数。最后，我们创建 KerasModel：

base_model = keras.applications.xception.Xception(weights="imagenet",include_top=False)avg = keras.layers.GlobalAveragePooling2D()(base_model.output)output = keras.layers.Dense(n_classes, activation="softmax")(avg)model = keras.Model(inputs=base_model.input, outputs=output)

如第 11 章所述，冻结预训练层的权重通常是一个好主意，至少在训练开始时是这样：

for layer in base_model.layers:layer.trainable = False

笔记

由于我们的模型直接使用基础模型的层，而不是base_model对象本身，因此设置base_model.trainable=False将不起作用。

最后，我们可以编译模型并开始训练：

optimizer = keras.optimizers.SGD(lr=0.2, momentum=0.9, decay=0.01)model.compile(loss="sparse_categorical_crossentropy", optimizer=optimizer,metrics=["accuracy"])history = model.fit(train_set, epochs=5, validation_data=valid_set)

警告

这会很慢，除非你有 GPU。如果你不这样做，那么你应该在 Colab 中使用 GPU 运行时运行本章的 notebook（它是免费的！）。请参阅GitHub – ageron/handson-ml2: A series of Jupyter notebooks that walk you through the fundamentals of Machine Learning and Deep Learning in Python using Scikit-Learn, Keras and TensorFlow 2.上的说明。

在对模型进行了几个 epoch 的训练后，其验证准确率应该会达到 75-80% 左右，并且不会取得太大进展。这意味着顶层现在训练得很好，所以我们准备解冻所有层（或者你可以尝试只解冻顶层）并继续训练（不要忘记在冻结或解冻层时编译模型）。这次我们使用低得多的学习率来避免损坏预训练的权重：

for layer in base_model.layers:layer.trainable = Trueoptimizer = keras.optimizers.SGD(lr=0.01, momentum=0.9, decay=0.001)model.compile(...)history = model.fit(...)

这需要一段时间，但这个模型应该在测试集上达到 95% 左右的准确率。有了它，你就可以开始训练惊人的图像分类器了！但计算机视觉不仅仅是分类。例如，如果您还想知道花在图片中的位置怎么办？现在让我们看看这个。

分类和本地化

本地化图片中的对象可以表示为回归任务，如第 10 章所述：预测对象周围的边界框，一种常见的方法是预测对象中心的水平和垂直坐标，以及它的高度和宽度。这意味着我们有四个数字要预测。它不需要对模型进行太多更改；我们只需要添加具有四个单元的第二个密集输出层（通常在全局平均池化层之上），并且可以使用 MSE 损失对其进行训练：

base_model = keras.applications.xception.Xception(weights="imagenet",include_top=False)avg = keras.layers.GlobalAveragePooling2D()(base_model.output)class_output = keras.layers.Dense(n_classes, activation="softmax")(avg)loc_output = keras.layers.Dense(4)(avg)model = keras.Model(inputs=base_model.input,outputs=[class_output, loc_output])model.compile(loss=["sparse_categorical_crossentropy", "mse"],loss_weights=[0.8, 0.2], # depends on what you care most aboutoptimizer=optimizer, metrics=["accuracy"])

但是现在我们遇到了一个问题：花朵数据集没有围绕花朵的边界框。所以，我们需要自己添加它们。这通常是机器学习项目中最困难和最昂贵的部分之一：获取标签。花时间寻找合适的工具是个好主意。要使用边界框注释图像，您可能需要使用开源图像标记工具，如 VGG Image Annotator、LabelImg、OpenLabeler 或 ImgLab，或者可能需要使用商业工具，如 LabelBox 或 Supervisely。如果您有大量图像要注释，您可能还需要考虑众包平台，例如 Amazon Mechanical Turk。但是，搭建一个众包平台，准备表格发给工人，监督他们，确保他们生产的包围盒质量好，是相当多的工作，因此，请确保值得付出努力。如果只有几千张图像要标记，并且您不打算经常这样做，那么最好自己做。阿德里安娜科瓦什卡等人。写了一个很实用的关于计算机视觉众包的论文24 。我建议您检查一下，即使您不打算使用众包。

假设您已经获得了鲜花数据集中每个图像的边界框（现在我们假设每个图像都有一个边界框）。然后，您需要创建一个数据集，其项目将是成批的预处理图像及其类标签和边界框。每个项目应该是表单的一个元组(images, (class_labels, bounding_boxes))。然后你就可以训练你的模型了！

MSE 通常作为训练模型的成本函数效果很好，但它并不是评估模型预测边界框的好坏的一个很好的指标。最常见的度量是联合交集（IoU）：预测边界框和目标边界框之间的重叠面积除以它们的联合面积（见图14-23）。在 tf.keras 中，它是由tf.keras.metrics.MeanIoU类实现的。

对单个对象进行分类和定位很不错，但是如果图像包含多个对象（花朵数据集中经常出现这种情况）怎么办？

物体检测

这对图像中的多个对象进行分类和定位的任务称为对象检测。直到几年前，一种常见的方法是采用经过训练的 CNN 对单个对象进行分类和定位，然后将其滑过图像，如图 14-24所示.在这个例子中，图像被切割成 6 × 8 的网格，我们展示了一个 CNN（厚黑色矩形）在所有 3 × 3 区域上滑动。当 CNN 查看图像的左上角时，它检测到最左边玫瑰的一部分，然后当它第一次向右移动一步时，它再次检测到同一朵玫瑰。在下一步，它开始检测最上面的玫瑰的一部分，然后一旦它向右移动了一步，它就会再次检测到它。然后，您将继续在整个图像中滑动 CNN，查看所有 3 × 3 区域。此外，由于对象可以有不同的大小，您还可以在不同大小的区域之间滑动 CNN。例如，一旦您完成了 3 × 3 区域，您可能还希望在所有 4 × 4 区域上滑动 CNN。

这种技术相当简单，但正如您所见，它会在稍微不同的位置多次检测到同一个对象。然后需要进行一些后处理来消除所有不必要的边界框。一个对此的常用方法称为非最大抑制。这是你如何做到的：

1. 首先你需要向你的 CNN 添加一个额外的objectness输出，以估计图像中确实存在花的概率（或者，你可以添加一个“no-flower”类，但这通常也不起作用）。它必须使用 sigmoid 激活函数，你可以使用二元交叉熵损失来训练它。然后去掉所有对象分数低于某个阈值的边界框：这将丢弃所有实际上不包含花的边界框。

2. 找到objectness score最高的bounding box，并去掉所有其他与它重叠很多的bounding box（例如，IoU大于60%）。例如，在图 14-24中，objectness score 最大的边界框是最上面玫瑰上方的厚边界框（objectness score 由边界框的厚度表示）。同一朵玫瑰上的另一个边界框与最大边界框重叠很多，所以我们将去掉它。

3. 重复第二步，直到没有更多的边界框可以摆脱。

这种简单的目标检测方法效果很好，但需要多次运行 CNN，因此速度很慢。幸运的是，有一种更快的方法可以在图像上滑动 CNN：使用完全卷积网络(FCN)。

语义分割

在语义分割像素根据其所属对象的类别（如道路、汽车、行人、建筑物等）进行分类，如图14-26所示。请注意，不区分同一类的不同对象。例如，分割图像右侧的所有自行车最终都是一大块像素。这项任务的主要困难在于，当图像通过常规 CNN 时，它们会逐渐失去其空间分辨率（由于跨度大于 1 的层）；所以，一个普通的 CNN 可能最终会知道图像左下角的某个地方有一个人，但它不会比这更精确。

就像对象检测一样，有许多不同的方法可以解决这个问题，有些方法相当复杂。然而，Jonathan Long 等人在 2015 年的论文中提出了一个相当简单的解决方案。我们之前讨论过。作者首先采用预训练的 CNN 并将其转换为 FCN。CNN 对输入图像应用了 32 的整体步幅（即，如果将所有步幅加起来大于 1），这意味着最后一层输出的特征图比输入图像小 32 倍。这显然太粗糙了，因此他们添加了一个将分辨率乘以 32 的上采样层。

有有几种可用于上采样（增加图像大小）的解决方案，例如双线性插值，但仅在高达 ×4 或 ×8 的情况下工作得相当好。相反，他们使用转置卷积层：33相当于先通过插入空行和空列（全为零）来拉伸图像，然后执行常规卷积（见图 14-27）。或者，有些人更愿意将其视为使用分数步幅的常规卷积层（例如，图 14-27中的 1/2 ）。转置卷积层可以初始化以执行接近线性插值的操作，但由于它是可训练的层，它会在训练期间学习做得更好。在 tf.keras 中，您可以使用该Conv2DTranspose层。

这个解决方案是可以的，但仍然太不精确。为了做得更好，作者添加了来自较低层的跳过连接：例如，他们将输出图像上采样了 2 倍（而不是 32 倍），并且他们添加了具有这种双分辨率的较低层的输出。然后他们将结果上采样了 16 倍，总上采样因子为 32（见图 14-28）。这恢复了早期池化层中丢失的一些空间分辨率。在他们最好的架构中，他们使用了第二个类似的跳过连接来从更低的层恢复更精细的细节。简而言之，原始CNN的输出经过以下额外步骤：upscale×2，添加较低层（适当规模）的输出，upscale×2，添加更底层的输出，最后upscale ×8。甚至可以放大到超过原始图像的大小：这可以用来增加图像的分辨率，这是一种称为超分辨率的技术。

再次，许多 GitHub 存储库提供语义分割的 TensorFlow 实现（现在是 TensorFlow 1），您甚至可以在 TensorFlow 模型项目中找到预训练的实例分割模型。实例分割类似于语义分割，但不是将同一类的所有对象合并为一个大块，而是将每个对象与其他对象区分开来（例如，它识别每辆自行车）。现在，TensorFlow 模型项目中可用的实例分割模型基于Mask R-CNN架构，该架构在2017 年的一篇论文中提出：34它通过为每个边界框额外生成像素掩码来扩展 Faster R-CNN 模型。因此，您不仅可以获得每个对象周围的边界框，以及一组估计的类概率，而且您还可以获得一个像素掩码，用于定位边界框中属于该对象的像素。

如您所见，深度计算机视觉领域广阔且发展迅速，每年都会涌现出各种基于卷积神经网络的架构。这短短几年内取得的进展令人震惊，研究人员现在正专注于越来越难的问题，例如对抗性学习（试图使网络更能抵抗旨在欺骗它的图像）、可解释性（了解网络为什么一个特定的分类）、逼真的图像生成（我们将在第 17 章中再次讨论）和单次学习（一个可以在对象只看到一次后识别它的系统）。有些人甚至探索了全新的架构，例如 Geoffrey Hinton 的胶囊网络35（我在几个视频中介绍了它们），在笔记本中带有相应的代码）。现在进入下一章，我们将了解如何使用循环神经网络和卷积神经网络处理时序数据，例如时间序列。

练习

1. 在图像分类方面，CNN 与全连接 DNN 相比有哪些优势？

2. 考虑一个由三个卷积层组成的 CNN，每个卷积层有 3 × 3 的内核、步长为 2 和"same"填充。最低层输出 100 个特征图，中间层输出 200 个，顶层输出 400 个。输入图像是 200×300 像素的 RGB 图像。

   CNN 中的参数总数是多少？如果我们使用 32 位浮点数，那么在对单个实例进行预测时，该网络至少需要多少 RAM？在小批量 50 张图像上进行训练时会怎样？

3. 如果您的 GPU 在训练 CNN 时内存不足，您可以尝试解决哪五件事？

4. 为什么要添加最大池化层而不是具有相同步幅的卷积层？

5. 您什么时候想添加本地响应规范化层？

6. 与 LeNet-5 相比，您能说出 AlexNet 的主要创新吗？GoogLeNet、ResNet、SENet 和 Xception 的主要创新是什么？

7. 什么是全卷积网络？如何将密集层转换为卷积层？

8. 语义分割的主要技术难点是什么？

9. 从头开始构建您自己的 CNN，并尝试在 MNIST 上实现尽可能高的准确度。

10. 使用迁移学习进行大图像分类，通过以下步骤：
    1. 创建一个训练集，每个类至少包含 100 个图像。例如，您可以根据位置（海滩、山脉、城市等）对自己的图片进行分类，或者您可以使用现有数据集（例如，来自 TensorFlow Datasets）。

    2. 将其拆分为训练集、验证集和测试集。

    3. 构建输入管道，包括适当的预处理操作，并可选择添加数据增强。

    4. 在此数据集上微调预训练模型。

11. 浏览 TensorFlow 的风格迁移教程。这是一种使用深度学习生成艺术的有趣方式。

附录 A中提供了这些练习的解决方案。

1David H. Hubel，“无拘无束的猫的纹状皮层中的单单位活动”，生理学杂志147（1959）：226–238。

2David H. Hubel 和 Torsten N. Wiesel，“猫纹状皮层中单个神经元的感受野”，生理学杂志148 (1959): 574–591。

3David H. Hubel 和 Torsten N. Wiesel，“猴子纹状皮层的感受野和功能结构”，生理学杂志195 (1968): 215–243。

4Kunihiko Fukushima，“Neocognitron：一种不受位置变化影响的模式识别机制的自组织神经网络模型”，生物控制论36（1980）：193-202。

5Yann LeCun 等人，“应用于文档识别的基于梯度的学习”，IEEE86 会议论文集，第 3 期。11 (1998): 2278–2324。

6卷积是一种数学运算，它将一个函数滑到另一个函数上并测量它们的逐点乘法的积分。它与傅里叶变换和拉普拉斯变换有很深的联系，并在信号处理中大量使用。卷积层实际上使用互相关，这与卷积非常相似（有关更多详细信息，请参见https://homl.info/76）。

7具有 150 × 100 个神经元的全连接层，每个神经元连接到所有 150 × 100 × 3 个输入，将有 1502× 1002× 3 = 6.75 亿个参数！

8在国际单位制 (SI) 中，1 MB = 1,000 KB = 1,000 × 1,000 字节 = 1,000 × 1,000 × 8 位。

9到目前为止我们讨论过的其他内核都有权重，但池化内核没有：它们只是无状态的滑动窗口。

10Yann LeCun 等人，“应用于文档识别的基于梯度的学习”，IEEE86 会议论文集，第 3 期。11 (1998): 2278–2324。

11Alex Krizhevsky 等人，“使用深度卷积神经网络的 ImageNet 分类”，_第 25 届神经信息处理系统国际会议论文集1（2012 年）：1097-1105。

12Matthew D. Zeiler 和 Rob Fergus，“可视化和理解卷积网络”，欧洲计算机视觉会议论文集(2014)：818-833。

13Christian Szegedy 等人，“Going Deeper with Convolutions”，IEEE 计算机视觉和模式识别会议论文集（2015 年）：1-9。

142010年的电影《盗梦空间》中，人物不断深入多层梦境；因此这些模块的名称。

15Karen Simonyan 和 Andrew Zisserman，“用于大规模图像识别的非常深的卷积网络”，arXiv 预印本 arXiv:1409.1556 (2014)。

16Kaiming He 等人，“用于图像识别的深度残差学习”，arXiv 预印本 arXiv:1512:03385 (2015)。

17在描述神经网络时，只计算带参数的层是一种常见的做法。

18Christian Szegedy 等人，“Inception-v4、Inception-ResNet 和残差连接对学习的影响”，arXiv 预印本 arXiv:1602.07261 (2016)。

19François Chollet，“Xception：深度可分离卷积的深度学习”，arXiv 预印本 arXiv:1610.02357 (2016)。

20这个名称有时可能是模棱两可的，因为空间上可分离的卷积通常也被称为“可分离的卷积”。

21Xingyu Zeng 等人，“Crafting GBD-Net for Object Detection”，IEEE Transactions on Pattern Analysis and Machine Intelligence40，不。9 (2018): 2109–2123。

22Jie Hu 等人，“Squeeze-and-Excitation Networks”，IEEE 计算机视觉和模式识别会议论文集（2018 年）：7132-7141。

23在 ImageNet 数据集中，每个图像都与WordNet 数据集中的一个词相关联：类 ID 只是一个 WordNet ID。

24Adriana Kovashka 等人，“计算机视觉中的众包”，计算机图形和视觉的基础和趋势10，第 10 期。3 (2014): 177–243。

25Jonathan Long 等人，“用于语义分割的完全卷积网络”，IEEE 计算机视觉和模式识别会议论文集（2015 年）：3431-3440。

26有一个小例外："valid"如果输入大小小于内核大小，使用填充的卷积层会报错。

27这假设我们"same"在网络中只使用了填充：实际上，"valid"填充会减小特征图的大小。此外，448 可以整齐地除以 2 几次，直到我们达到 7，没有任何舍入误差。如果任何层使用的步幅与 1 或 2 不同，则可能存在一些舍入误差，因此特征图可能最终会变小。

28Joseph Redmon 等人，“You Only Look Once：Unified, Real-Time Object Detection”，IEEE 计算机视觉和模式识别会议论文集（2016 年）：779–788。

29Joseph Redmon 和 Ali Farhadi，“YOLO9000：更好、更快、更强”，IEEE 计算机视觉和模式识别会议论文集（2017 年）：6517–6525。

30Joseph Redmon 和 Ali Farhadi，“YOLOv3：增量改进”，arXiv 预印本 arXiv:1804.02767 (2018)。

31Wei Liu 等人，“SSD：Single Shot Multibox Detector”，第 14 届欧洲计算机视觉会议论文集1（2016 年）：21-37。

32Shaoqing Ren 等人，“Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks”，第 28 届神经信息处理系统国际会议论文集1（2015）：91-99。

33这种类型的层有时被称为反卷积层，但它不执行数学家所说的反卷积，因此应避免使用此名称。

34Kaiming He 等人，“Mask R-CNN”，arXiv 预印本 arXiv:1703.06870 (2017)。

35Geoffrey Hinton 等人，“带有 EM 路由的矩阵胶囊”，国际学习表示会议论文集（2018 年）。