NN神经网络

基于云变换的云神经网络 云神经网络的基本概念 云神经网络是一种特殊的神经网络结构，它利用云变换来初始化网络权值，从而提高训练速度。云神经网络具有良好的性能，原因在于BP短发对初始权值非常敏感，而云变化能从样本数据中提取初始的网络权值。 云变换的步骤 云变换是云神经网络的基础，它将连续数据离散化，实现定量与定性之间不确定的转换。云变换的步骤包括： 1. 对属性的论域中的每一个可能属性值，计算数据库中含有该属性值的记录个数，得到的频率分布函数。 2. 寻找数据分布函数分波峰所在位置，将其属性值定义为云的质心位置（期望），计算用于拟合的，以为期望的云模型的熵，计算云模型的分布函数。 3. 从中减去已知云模型的数据分布，得到新的数据分布函数，并在此基础上重复步骤2和3，得到多个基于云的数据分布函数。 4. 根据已知的，最后得到的拟合误差函数及各个云模型的分布函数，计算基于云模型的定性概念的3个特征值。 云神经网络结构 云神经网络结构包括五层： 1. 输入层：设输入值输入：，输出：， 2. 前向云发生器层：每个节点代表一个语言变量，产生隶属度输入：输出：（；） 3. 软与层：每个节点代表“软与”运算，功能是匹配云规则及产生每个规则的隶属度。“软与”操作可通过多维正态云来表示。输入：输出：其中（为规则数）是第个输入元素相对于第条规则的超熵。 4. 标准化层：它的功能是标准化确定度。输入：，输出 5. 后向云发生器层：它的功能是反模糊化，并输出计算的值。输入：输出： 网络的学习算法 云神经网络的学习算法参数的自适应调节算法采用BP算法。网络输出误差的学习函数为，其中是理想输出，是实际输出。后向云发生器层、标准化层、软与层和前向云发生器层的反传误差项分别为： * 后向云发生器层：反传误差项为参数修正项 * 标准化层：反传误差项为 * 软与层：反传误差项为 * 前向云发生器层：反传误差项为 得到所求的一阶梯度为a)在求得所需的一阶梯度后，最后给出参数调整的学习算法为其中为学习速率。b)的调整方法如果，确定了，则定性概念的中心和宽度就确定了，那我们就可以利用反向云算法来获得超熵的值。 反向云算法 反向云算法用于计算定性概念的超熵。步骤包括： 1. 计算属于定型概念的样本方差。设，则样本方差为。 2. 计算超熵。。