一、什么是TensorFlow
在这里,引入TensorFlow中文社区首页中的两段描述。
关于 TensorFlow
TensorFlow™ 是一个采用数据流图(data flow
graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。它灵活的架构让你可以在多种平台上展开计算,例如台式计算机中的一个或多个CPU(或GPU),服务器,移动设备等等。TensorFlow
最初由Google大脑小组(隶属于Google机器智能研究机构)的研究员和工程师们开发出来,用于机器学习和深度神经网络方面的研究,但这个系统的通用性使其也可广泛用于其他计算领域。什么是数据流图(Data Flow Graph)?
数据流图用“结点”(nodes)和“线”(edges)的有向图来描述数学计算。“节点”
一般用来表示施加的数学操作,但也可以表示数据输入(feed in)的起点/输出(push
out)的终点,或者是读取/写入持久变量(persistent
variable)的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“size可动态调整”的多维数据数组,即“张量”(tensor)。张量从图中流过的直观图像是这个工具取名为“Tensorflow”的原因。一旦输入端的所有张量准备好,节点将被分配到各种计算设备完成异步并行地执行运算。
二、示例
接下来的示例中,主要使用到以下两个文件。
mnist.pyfully_connected_feed.py
该示例的目的是建立一个手写图像识别模型,通过该模型,可以准确识别输入的28 * 28
像素的手写图片是0~9
这十个数字中的哪一个。
1、运行文件准备
需要下载好tensorflow源代码,注意这里的源代码版本需要与安装的TensorFlow版本保持一致。
在/home/mlusr/files/tensorflow/
下解压缩该文件。进入示例文件路径中,运行
cd ~/files/tensorflow/tensorflow-r0.11/tensorflow/examples/tutorials/mnistpython fully_connected_feed.py
运行过程中,需要联网下载训练数据,数据文件保存到~/files/tensorflow/tensorflow-r0.11/tensorflow/examples/tutorials/mnist/data
路径下,如果不能联网的话,可以手动到MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges,下载好以下四个文件,放入data
目录。
t10k-images-idx3-ubyte.gzt10k-labels-idx1-ubyte.gztrain-images-idx3-ubyte.gztrain-labels-idx1-ubyte.gz
2、运行
直接运行fully_connected_feed.py
文件。
python fully_connected_feed.py
输出信息如下:
Extracting data/train-images-idx3-ubyte.gzExtracting data/train-labels-idx1-ubyte.gzExtracting data/t10k-images-idx3-ubyte.gzExtracting data/t10k-labels-idx1-ubyte.gzStep 0: loss = 2.30 (0.007 sec)Step 100: loss = 2.13 (0.005 sec)Step 200: loss = 1.87 (0.004 sec)Step 300: loss = 1.55 (0.004 sec)Step 400: loss = 1.26 (0.004 sec)Step 500: loss = 0.87 (0.004 sec)Step 600: loss = 0.87 (0.004 sec)Step 700: loss = 0.65 (0.005 sec)Step 800: loss = 0.43 (0.004 sec)Step 900: loss = 0.65 (0.005 sec)Training Data Eval:Num examples: 55000Num correct: 47184Precision @ 1: 0.8579Validation Data Eval:Num examples: 5000Num correct: 4349Precision @ 1: 0.8698Test Data Eval:Num examples: 10000Num correct: 8663Precision @ 1: 0.8663Step 1000: loss = 0.47 (0.006 sec)Step 1100: loss = 0.40 (0.051 sec)Step 1200: loss = 0.55 (0.005 sec)Step 1300: loss = 0.43 (0.004 sec)Step 1400: loss = 0.39 (0.004 sec)Step 1500: loss = 0.57 (0.005 sec)Step 1600: loss = 0.50 (0.004 sec)Step 1700: loss = 0.37 (0.005 sec)Step 1800: loss = 0.38 (0.006 sec)Step 1900: loss = 0.35 (0.004 sec)Training Data Eval:Num examples: 55000Num correct: 49292Precision @ 1: 0.8962Validation Data Eval:Num examples: 5000Num correct: 4525Precision @ 1: 0.9050Test Data Eval:Num examples: 10000Num correct: 9027Precision @ 1: 0.9027
3、启动TensorBoard并查看
在启动TensorBoard时注意指定输出log文件路径,在本例中启动命令如下
tensorboard --logdir /home/mlusr/files/tensorflow/tensorflow-r0.11/tensorflow/examples/tutorials/mnist/data
启动输出信息如下所示:
Starting TensorBoard 29 on port 6006(You can navigate to http://192.168.1.100:6006)
浏览器访问页面指定ip和端口:
在TensorBoard中还可以查看该模型的更多信息。
本文接下来的部分,将以mnist.py
和fully_connected_feed.py
两个文件中的内容
二、数据下载和输入
MNIST的数据主要分成以下三个部分,
数据集 | 作用 |
---|---|
data_sets.train | 55000条image和label数据,主要用于训练模型 |
data_sets.validation | 5000条image和label数据,用于在迭代过程中确定模型准确率 |
data_sets.test | 10000条image和label数据,用于最终评估模型的准确率 |
1、概念一:Placeholder
Placeholder的更多描述,请看这里。使用Placeholder
的地方,在构造Graph时并不包含实际的数据,只是在应用运行时才会动态的用数据来替代。
在fully_connected_feed.py
文件中的placeholder_inputs
方法中,通过调用tf.placeholder
方法分别生成了代表images
和labels
的placeholder
。
IMAGE_SIZE = 28IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZEimages_placeholder = tf.placeholder(tf.float32, shape=(batch_size, mnist.IMAGE_PIXELS))labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))
在生成placeholder
时,只需要指定其中的数据类型,以及维度。上面images_placeholder
中的元素为float
类型,维度为batch_size * IMAGE_PIXELS
。lagels_placeholder
中的元素为int类型,维度为batch_size
。batch_size
参数在程序调用placeholder_inputs
时指定。
看到这里可以发现images_placeholder和labels_placeholder仅仅只是指定了其中元素的类型和shape,具体数值是在后续程序运行时才会填充进来的。所以叫做Placeholder。在这里这两个Placeholder代表了输入的两个数据源。
三、概念二:Graph
Graph是TensorFlow中又一个重要概念。Graph可以理解成TensorFlow中的一个调整好参数的执行计划。构建好这个Graph之后,所有输入数据,中间转换过程,以及输出数据的流程和格式便固定下来,数据进入Graph后按照特定的结构和参数,就能得到对应的输出结果。如下图所示:
构建一个Graph主要分成以下三步。
1、确定Graph结构
inference
方法,以images_placeholder
作为输入,连接到维度为(28 * 28, 128)
的隐层1,隐层1连接到维度为(128, 32)
的隐层2,最后的输出层logits
为10个节点。各层之间的激活函数为Relu
。
下面代码中使用到的常量
IMAGE_SIZE = 28IMAGE_PIXELS = IMAGE_SIZE * IMAGE_SIZEflags.DEFINE_integer('hidden1', 128, 'Number of units in hidden layer 1.')flags.DEFINE_integer('hidden2', 32, 'Number of units in hidden layer 2.')NUM_CLASSES = 10
构建隐层1,
with tf.name_scope('hidden1'): weights = tf.Variable(tf.truncated_normal([IMAGE_PIXELS, hidden1_units], stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))), name='weights') biases = tf.Variable(tf.zeros([hidden1_units]), name='biases')
上面定义了两个Variable
,weights
表示连接权重,biases
表示偏置量。
biases
比较简单,定义了一个名为biases
的元素全为0的变量,其长度为hiden1_units
,默认为128
。
weights
的维度为IMAGE_PIXELS * hidden1_units
,其中的初始值为标准差为1 / math.sqrt(float(IMAGE_PIXELS)
的截断正态分布值。
构建隐层2,
with tf.name_scope('hidden2'):weights = tf.Variable(tf.truncated_normal([hidden1_units, hidden2_units],stddev =1.0 / math.sqrt(float(hidden1_units))),name = 'weights')biases = tf.Variable(tf.zeros([hidden2_units]), name ='biases')
构建输出层,
with tf.name_scope('softmax_linear'):weights = tf.Variable(tf.truncated_normal([hidden2_units, NUM_CLASSES] ,stddev =1.0 / math.sqrt(float(hidden2_units))) ,name = 'weights')biases = tf.Variable(tf.zeros([NUM_CLASSES]), name ='biases')
基于上面的权重和偏置量值,使用relu
激活函数连接各层,
hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases)hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases)logits = tf.matmul(hidden2, weights) + biases
前面的三组weights
和biases
变量名都相同,区分的办法是前面的with tf.name_scope('hidden1')
。在hidden1
命名空间下的wiehts
参数的完整表示为"hidden1/weights"
。
2、确定损失函数
上一步确定好模型各层结构和参数后,接下来需要定义一个损失函数的计算逻辑。
在mnist.py
文件中有一个loss()
方法,输入两个参数,第一个为上面模型的输出结果logits
,第二个为images
对应的实际labels
,在调用该方法时,传入的是前面定义的labels_placeholder
。
def loss(logits, labels):labels = tf.to_int64(labels)cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels , name = 'xentropy')loss = tf.reduce_mean(cross_entropy, name ='xentropy_mean')return loss
上面的tf.nn.sparse_softmax_cross_entropy_with_logits
会根据labels
的内容自动生成1-hot编码,并且计算与输出logits
的1-hot编码的交叉熵[cross entropy][http://blog.csdn.net/rtygbwwwerr/article/details/50778098])
最后,调用reduce_mean方法,计算交叉熵的平均值。
3、参数训练
调用training
方法的调用形式为,传入上面的损失值和学习率。
train_op = mnist.training(loss, FLAGS.learning_rate)
接下来,mnist.py
文件中的training
方法,将使用梯度下降法来计算使得损失值最小的模型参数。首先将损失值loss
传入tf.scala_summary
中,这个操作主要是用于在后面使用SummaryWriter
时向events file中生成求和值,将每一次得到的损失值写出到事件文tf.scalar_summary(loss.op.name, loss)
后,调用tf.train.GradientDesecentOptimizer
按指定的学习率实现梯度下降算法。
# Create the gradient descent optimizer with the given learning rate.optimizer = tf.train.GradientDescentOptimizer(learning_rate)
最后,使用一个名为global_step
的variable
来记录每一次训练的步长。optimizer.minimize
操作用于更新系统的权重,同时增加步长。
# Create a variable to track the global step.global_step = tf.Variable(0, name = 'global_step', trainable =False)# Use the optimizer to apply the gradients that minimize the loss# (and also increment the global step counter) as a single training step.train_op = optimizer.minimize(loss, global_step=global_step)
四、训练模型
当第三步中的Graph构造完成之后,就可以迭代的训练和评估模型了。
1、Graph
在run_training()
方法的最前面,使用一个with
命令表明所有的操作都要与tf.Graph
的默认全局graph
相关联。
with tf.Graph().as_default():
tf.Graph
表示需要在一起运行的操作集合。在大多数情况下,TensorFlow使用一个默认的graph
就已经够用了。
2、Session
接下来就需要为应用运行准备环境了。在TensorFlow中使用的是Session
。
sess = tf.Session()
另外,除了按上面这行代码生成sess
对象外,还可以使用with
命令生成,如下所示,
with tf.Session() as sess:
在获得sess
对象后,首先可以将之前定义的variable进行初始化,
init = tf.initialize_all_variables()sess.run(init)
3、循环训练
初始化之后就可以开始循环训练模型了。
可以通过如下代码实现一个最简单的训练循环,在这个循环中可以控制每次循环的步长。
for step in xrange(FLAGS.max_steps):sess.run(train_op)
但是在本教程中的例子比较复杂。这是因为必须把输入的数据根据每一步的情况进行切分,替换到之前的placeholder
处。具体可以继续看以下部分。
4、向Graph输入数据
TensorFlow的feed机制可以在应用运行时向Graph输入数据。在每一步训练过程中,首先会根据训练数据生成一个feed dictionary
,这里面会包含本次循环中使用到的训练数据集。
feed_dict = fill_feed_dict(data_sets.train, images_placeholder, labels_placeholder)
fill_feed_dict
方法如下,每次从训练数据集中根据batch_size
取出指定数量的images_feed
和labels_feed
,然后以images_pl
和labels_pl
为key
存入字典中。
def fill_feed_dict (data_set, images_pl, labels_pl):images_feed, labels_feed = data_set.next_batch(FLAGS.batch_size, FLAGS.fake_data)feed_dict = {images_pl: images_feed,labels_pl: labels_feed,}return feed_dict
5、检查状态
接下来以上面获取到的每个batch的数据开始执行训练过程。
for step in xrange(FLAGS.max_steps):feed_dict = fill_feed_dict(data_sets.train,images_placeholder,labels_placeholder)_, loss_value = sess.run([train_op, loss],feed_dict=feed_dict)
在这里传入train_op
和loss
后,sess.run
方法返回一个包含两个Tensor
的tuple
对象。由于train_op
并没有返回值,所以只记录loss
的返回值loss_value
。
假设训练过程很正常,那么每过100次训练将会打印一次当前的loss
值,
if step % 100 == 0 :print ('Step %d: loss = %.2f (%.3f sec)' % (step, loss_value, duration))
6、状态可视化
在上面每隔100次打印一次loss
值之外,还有两个操作将当前的loss
值写入到事件文件中,供TensorBoard作展示用。
summary_str = sess.run(summary, feed_dict=feed_dict)summary_writer.add_summary(summary_str, step)summary_writer.flush()
7、设置检查点
在TensorFlow中使用tf.train.Saver
将训练好的模型进行保存。
saver = tf.train.Saver()
在循环训练过程中,saver.save()
方法会定期执行,用于将模型当前状态写入到检查点文件中。
checkpoint_file = os.path.join(FLAGS.log_dir , 'model.ckpt')saver.save(sess, checkpoint_file, global_step =step)
如果需要使用到该检查点文件中保存的模型时,可以使用saver.restore()
方法进行加载,
saver.restore(sess, FLAGS.train_dir)
五、评估模型
在每次保存检查点文件时,会同时计算此时模型在训练数据集,检验数据集和测试数据集上的误差。
print('Training Data Eval:')do_eval(sess,eval_correct,images_placeholder,labels_placeholder,data_sets.train)# Evaluate against the validation set.print ('Validation Data Eval:')do_eval(sess,eval_correct,images_placeholder,labels_placeholder,data_sets.validation)# Evaluate against the test set.print ('Test Data Eval:')do_eval(sess,eval_correct,images_placeholder,labels_placeholder,data_sets.test)
1、建立评估Graph
注意上面代码中的do_eval
方法,以及该方法的eval_correct
参数。eval_correct
操作是在循环开始前就已经定义好了的。
eval_correct = mnist.evaluation(logits, labels_placeholder)
这个evaluation
从参数上看是用于比较预测值与真实值直接的差异。
def evaluation (logits, labels):correct = tf.nn.in_top_k(logits, labels, 1)return tf.reduce_sum(tf.cast(correct, tf.int32))
返回一个长度为batch_size
的tensor
,如果预测值与真实值相同则为true
,否则为false
。
2、评估模型输出
最后,在do_eval
方法中,处理该误差并输出。类似于模型训练过程中,这里也创建一个feed_dict
对象,在给定的数据集上调用sess.run
方法,计算预测值中有多少与实际值相一致。
for step in xrange(steps_per_epoch):feed_dict = fill_feed_dict(data_set, images_placeholder, labels_placeholder)true_count += sess.run(eval_correct, feed_dict =feed_dict)
最后,将预测正确的记录数与当前的总数据数进行比较,得到本次的预测精度。
precision = float(true_count) / num_examplesprint ('Num examples: %d Num correct: %d Precision @ 1: %0.04f' %(num_examples, true_count, precision))