TensorFlow——可视化工具TensorBoard的使用

  1. 云栖社区>
  2. 博客>
  3. 正文

TensorFlow——可视化工具TensorBoard的使用

飞天小橘子 2018-05-05 08:50:43 浏览1290
展开阅读全文
1、TensorBoard简介
Tensorboard是Tensorflow官方推出了可视化工具,它可以通过TensorFlow程序运行过程中输出的日志文件可视化TensorFlow程序的运行状态。
TensorBoard 和 TensorFLow 程序跑在不同的进程中,TensorBoard 会自动读取最新的TensorFlow日志文件,并呈现当前 TensorFLow 程序运行的最新状态。
TensorBoard可视化神经网络模型训练过程中各种指标的变化趋势,直观的了解神经网络的训练情况。
TensorBoard的使用对于程序的理解、分析和优化都很有帮助。

2、TensorBoard数据形式
Tensorboard可以记录与展示以下数据形式: 
(1)标量Scalars 
(2)图片Images 
(3)音频Audio 
(4)计算图Graph 
(5)数据分布Distribution 
(6)直方图Histograms 
(7)嵌入向量Embeddings

3、TensorBoard启动(Windows下cmd启动)并展示日志图表
确保计算图写入日志 writer=tf.summary.FileWriter('logs/',sess.graph)

(1)运行程序,在指定目录下(logs)生成 event 文件


(2)在 logs 所在目录,按住 shift 键,点击右键选择在此处打开 cmd
(3)在 cmd 中,输入以下命令启动 tensorboard --logdir=logs注意:logs的目录并不需要加引号, logs 中有多个event 时,会生成scalar 的对比图,但 graph 只会展示最新的结果)

(4)把生成的网址复制到Google浏览器或火狐浏览器中打开即可 

4、使用命名空间整理计算图
  • 使用命名空间使可视化效果图更有层次性,使得神经网络的整体结构不会被过多的细节所淹没
  • 同一个命名空间下的所有节点会被缩略成一个节点,只有顶层命名空间中的节点才会被显示在 TensorBoard 可视化效果图上
  • 可通过tf.name_scope()或者tf.variable_scope()来实现,具体见最后的程序
with tf.name_scope('input')

5、TensorBoard使用流程
(1)添加记录节点tf.summary.scalar/image/histogram()等。
使用tf.summary.scalar记录标量 
使用tf.summary.histogram记录数据的直方图 
使用tf.summary.distribution记录数据的分布图 
使用tf.summary.image记录图像数据 
(2)汇总记录节点merged = tf.summary.merge_all()
(3)运行汇总节点summary = sess.run(merged),得到汇总结果
(4)日志书写器实例化summary_writer = tf.summary.FileWriter(logdir, graph=sess.graph),实例化的同时传入 graph 将当前计算图写入日志
(5)调用日志书写器实例对象summary_writer的add_summary(summary, global_step=i)方法将所有汇总日志写入文件
(6)调用日志书写器实例对象summary_writer的close()方法写入内存,否则它每隔120s写入一次

6、TensorFlow可视化分类

(1)计算图的可视化
# Create a summary writer, add the 'graph' to the event file.writer = tf.summary.FileWriter(logdir, sess.graph)writer.close() # 关闭写入内存,否则它每隔120s写入一次

(2)监控指标的可视化
I、SCALAR
tf.summary.scalar(name, tensor, collections=None, family=None)
可视化训练过程中随着迭代次数准确率(val acc)、损失值(train/test loss)、学习率(learning rate)、每一层的权重偏置的统计量(mean、std、max/min)等的变化曲线。
  • 输入参数:
name:此操作节点的名字,TensorBoard 中绘制的图形的纵轴也将使用此名字
tensor: 需要监控的变量.

II、IMAGE
tf.summary.image(name, tensor, max_outputs=3, collections=None, family=None)
可视化当前使用的训练/测试图片

III、HISTOGRAM
tf.summary.histogram(name, values, collections=None, family=None)
可视化张量的取值分布

IV、MERGE_ALL
tf.summary.merge_all(key=tf.GraphKeys.SUMMARIES)
  • Merges all summaries collected in the default graph
  • 因为程序中定义的写日志操作比较多,一一调用非常麻烦,所以TensoorFlow 提供了此函数来整理所有的日志生成操作:merged = tf.summary.merge_all ()
  • 此操作不会立即执行,所以,需要明确的运行这个操作(summary = sess.run(merged))来得到汇总结果
  • 最后调用日志书写器实例对象的add_summary(summary, global_step=i)方法将所有汇总日志写入文件
7、TensorFlow实现MNIST手写数字识别,并可视化
模型:构建一个只有输入层输出层的简单神经网络模型,使用交叉熵梯度下降算法进行优化,并用TensorBoard可视化
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# 载入数据集
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

# 每个批次的大小
batch_size=100
#计算一共有多少个批次
n_batch=mnist.train.num_examples//batch_size


#参数概要(添加记录节点函数)
def variable_summaries(var):
    with tf.name_scope('summaries'): #定义summary类的命名空间
        mean=tf.reduce_mean(var) #计算参数的平均值
        tf.summary.scalar('mean',mean)  #记录数据的平均值
        with tf.name_scope('stddev'): #定义命名空间
            stddev=tf.sqrt(tf.reduce_mean(tf.square(var-mean))) #计算参数的标准差
        tf.summary.scalar('stddev',stddev)  #记录参数的标准差
        tf.summary.scalar('max',tf.reduce_max(var)) #记录参数的最大值
        tf.summary.scalar('min',tf.reduce_min(var)) #记录参数的最小值
        tf.summary.histogram('histogram',var) #用直方图记录参数的分布

#定义命名空间
with tf.name_scope('input'):
    # 定义两个placeholder(这里的None表示第一个维度可以是任意的长度)
    x = tf.placeholder(tf.float32, [None, 784],name='x-input')
    y = tf.placeholder(tf.float32, [None, 10],name='y-input')

#保存图像信息
with tf.name_scope('input_reshape'):
    image_shaped_input=tf.reshape(x,[-1,28,28,1])
    tf.summary.image('input',image_shaped_input,10)#记录10张图片数据

#定义命名空间(命名空间中仍可定义命名空间)
with tf.name_scope('layer'):
    # 创建一个简单的神经网络(只有输入层和输出层)
    with tf.name_scope('weights'):
        Weights = tf.Variable(tf.zeros([784, 10]))
        variable_summaries(Weights)  #调用参数信息记录权重的信息
    with tf.name_scope('biases'):
        biases = tf.Variable(tf.zeros([10]))
        variable_summaries(biases)   #调用参数信息记录偏置的信息
    with tf.name_scope('wx_plus_b'):
        wx_plus_b = tf.matmul(x, Weights) + biases  #执行wx+b的线性计算
    with tf.name_scope('softmax'):
        prediction = tf.nn.softmax(wx_plus_b)

with tf.name_scope('loss'):
    # 交叉熵
    loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
    tf.summary.scalar('loss',loss)  #添加记录损失函数的标量

with tf.name_scope('train_step'):
    # 使用梯度下降算法
    train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

with tf.name_scope('accuracy'):
    with tf.name_scope('correct_prediction'):
        # 结果存放在一个布尔型列表中(argmax函数返回一维张量中最大的值所在的位置)
        correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1))
    with tf.name_scope('accuracy'):
        # 求准确率(tf.cast将布尔值转换为float型)
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
        tf.summary.scalar('accuracy',accuracy) #添加记录准确率的标量

#合并所有的summary(汇总记录节点)
merged=tf.summary.merge_all()


with tf.Session() as sess:
    sess.run(tf.global_variables_initializer()) #初始化变量

    # 负责将事件日志(graph、scalar/image/histogram、event)写入到指定的磁盘文件中
    writer=tf.summary.FileWriter('logs/',sess.graph)

    for i in range(51):
        for batch in range(n_batch):
            batch_xs,batch_ys=mnist.train.next_batch(batch_size)
            summary,_=sess.run([merged,train_step],feed_dict={x:batch_xs,y:batch_ys})

        #将所有汇总日志写入文件
        writer.add_summary(summary,i)
        acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels})
        print("Iter" + str(i) + ",Testing Accuracy" + str(acc))

(1)SCALARS
展示的是标量的信息,我程序中用tf.summary.scalars()定义的信息都会在这个窗口

(2)IMAGES
展示的是图片的信息,我程序中用tf.summary.image()定义的信息都会在这个窗口

(3)GRAPHS 
展示的是整个训练过程的计算图graph,从中我们可以清晰地看到整个程序的逻辑与过程


(4)DISTRIBUTIONS 
展示的是整个训练过程中权重和偏置的分布


(5)HISTOGRAMS 
展示的是整个训练过程中权重和偏置的直方图







其它参看博客:https://blog.csdn.net/sinat_33761963/article/details/62433234



网友评论

登录后评论
0/500
评论
飞天小橘子
+ 关注