Keras---各种网络层的输入与输出

keras中各种网络层的输入与输出

Cov1D

from keras import layers
layers.Conv1D(filters, kernel_size, activation=‘relu’, padding=‘same’, …)
filters： 过滤器数量，决定输出后每个时间步上的维度，即下图中第二张图的宽度
kernel_size：时间步的步长，下图第一张图中小方框的长度
padding：
为 same时，输出时间步长 = 输入时间步长
为 valid 时，输出的时间步长 = 输入时间步长 - kernel_size + 1

其中竖轴为时间步，横轴表示每个时间步下的特征。
输入：（batch_size, 输入时间步长, features）
输出：（batch_size, 输出时间步长, filters）
实例：
kaggle叶子分类问题

LSTM

图中看起来是三个cell，其实是一个cell在不同时刻上的拼接，也就是说其实是一个cell在不同时刻的状态。我们就以中间那个cell为例进行说明吧。
其中，四个黄色的小矩形就是普通神经网络的隐藏层结构，其中第一、二和四的激活函数是sigmoid，第三个的激活函数是tanh。t 时刻的输入X和 t-1 时刻的输出 h(t-1) 进行拼接，然后输入cell中，其实可以这样理解，我们的输入X(t)分别feed进了四个小黄矩形中，每个小黄矩形中进行的运算和正常的神经网络的计算一样（矩阵乘法），有关记忆的部分完全由各种门结构来控制（就是0和1），同时在输入时不仅仅有原始的数据集，同时还加入了上一个数据的输出结果，也就是h(t-1)，那么讲来LSTM和正常的神经网络类似，只是在输入和输出上加入了一点东西。cell中可以大体分为两条横线，上面的横线用来控制长时记忆，下面的横线用来控制短时记忆。关于LSTM我通过参考画了一张图，如下：

输入：
下面我们就来说说输入问题，在Keras中，LSTM的输入shape=(samples, time_steps, input_dim)，其中samples表示样本数量，time_steps表示时间步长，input_dim表示每一个时间步上的维度。我举一个例子吧，现在有一个数据集有四个属性(A，B, C, D)，我们希望的预测标签式D，假设这里的样本数量为N。如果时间步长为1，那么此时的输入shape=(N, 1, 4)，具体的数据是这样的[A(t-1), B(t-1), C(t-1), D(t-1)]（此处表示一个数据样本），样本标签为[D(t)]；如果时间步长为2，那么此时的输入shape=(N, 2, 4)，具体的数据是[[A(t-2), B(t-2), C(t-2), D(t-2)], [A(t-1), B(t-1), C(t-1), D(t-1)]]（此处仍表示一个样本数据）。
输出：
关于Keras中LSTM的输出问题，在搭建网络时有两个参数，一个是output_dim表示输出的维度，这个参数其实就是确定了四个小黄矩形中权重矩阵的大小。另一个可选参数return_sequence，这个参数表示LSTM返回的时一个时间序列还是最后一个，也就是说当return_sequence=True时返回的是(samples, time_steps, output_dim)的3D张量，如果return_sequence=Flase时返回的是(samples, output_dim)的2D张量。比如输入shape=(N, 2, 8)，同时output_dim=32，当return_sequence=True时返回(N, 2, 32)；当return_sequence=False时返回(N, 32)，这里表示的时输出序列的最后一个输出。

以上描述转载至：Keras中的LSTM—简书
layers.LSTM(units,activation=‘tanh’,return_sequences=False,…)
units：输出的维度，确定了四个小黄矩形中权重矩阵的大小。
return_sequences：表示LSTM返回的是一个时间序列还是最后一个cell的输出。
当return_sequence=True时返回的是(samples, time_steps, output_dim)的3D张量，可后接LSTM层用于搭建多层LSTM。
当return_sequence=Flase时返回的是(samples, output_dim)的2D张量，LSTM层最后一个cell的输出。