TensorFlow:第8章 LSTM & Bi-RNN & Deep RNN

LSTM 可以学习到距离很远的信息,解决了RNN无法长期依赖的问题。

Bidirectional RNN 解决的是 当前时刻的输出不仅和之前的状态有关系,也和之后的状态相关。

Deep RNNs 是 为了增强模型的表达能力,可以在网络中设置多个循环层,将每层 RNN 的输出传给下一层处理。

Chatbot Research 6 - 更多论文 (感谢 PaperWeekly)

Chatbot 更多 Paper 论文和参考资料 (感谢 PaperWeekly)

Chatbot Research 2 - 文本预处理小计

拿到原始的一条条文本,直接喂给 Model 肯定不行,需要进行对文本进行预处理。预处理的精细程度很大程度上也会影响模型的性能。这篇 Blog 就记录一些预处理的方法。

RNN 的语言模型 TensorFlow 实现

上篇 PTB 数据集 batching 中我们介绍了如何对 PTB 数据集进行 连接、切割 成多个 batch,作为 NNLM 的输入。

本文将介绍如何采用 TensorFlow 实现 RNN-based NNLM。

PTB 数据的 batching 方法

PTB 数据集 batching 介绍, 如何对 PTB 数据集进行 连接、切割 成多个 batch。

重点了解 batch_sizenum_batchnum_step 这三个概念。

Tensorboard 可视化好帮手 1

学会用 Tensorflow 自带的 tensorboard 去可视化我们所建造出来的神经网络是一个很好的学习理解方式. 用最直观的流程图告诉你, 你的神经网络是长怎样,有助于你发现编程中间的问题和疑问.

numpy.random.normal 函数

numpy.random.normal 函数,有三个参数(loc, scale, size),代表生成的高斯分布随机数的均值、方差以及输出的 size.

例子3 结果可视化

构建图形,用散点图描述真实数据之间的关系。 (注意:plt.ion() 用于连续显示。)

例子3 建造神经网络

这次提到了怎样建造一个完整的神经网络, 包括添加 神经层, 计算误差, 训练步骤, 判断是否在学习.

例子3 添加层 def add_layer()

在 Tensorflow 里定义一个 添加层的函数 可以很容易的 添加神经层, 为之后的添加省下不少时间.

CNN (week4) - Face recognition & Neural style transfer

Face recognition & Neural style transfer 能够在图像、视频以及其他 2D 或 3D 数据上应用这些算法。