haohulala的博客

 MOOC上的tensorflow课程笔记import tensorflow as tf"""a = tf.constant([1.0,2.0]) #一行两列的张量b = tf.constant([3.0,4.0]) #一行两列的张量result = a + bprint(result) #打印计算图结果为：Tensor("add:0",...

import tensorflow as tfimport numpy as np#create datax_data = np.random.rand(100).astype(np.float32)y_data = x_data*0.1 + 0.3###create tensorflow structure start ###Weight = tf.Variable(tf.ra...

#coding utf-8"""反向传播-》训练模型参数，在所有参数上用梯度下降，使NN模型在训练数据上的损失函数最小损失函数（loss）：预测值（y）与已知答案（y_）的差距均方误差MSE : MSE(Y_,Y)=(Y-Y_)^2求算术平均值loss = tf.reduce_mean(tf.square(y_-y))反向传播训练方法：以减小loss值为优化目标train_step...

"""神经网络搭建的八股：前向传播就是搭建网络，设计网络结构（forward.py）def forward(x, regularizer): w= b= y= return ydef get_weight(shape, regularizer): w=tf.Variable() tf.add_to_collection('losses',...

损失函数"""神经元模型 f(∑xiwi + b)，其中b为偏置项bias，f为激活函数activation function激活函数 activation functiontf.nn.relu()tf.nn.sigmoid()tf.nn.tanh()NN的复杂度层数 = 隐藏层 + 1个输出层总参数 = 总w + 总b损失函数loss：预测值y与已经答案y_的差距优化目...

学习率"""学习率 learning_rate：每次参数更新的幅度wn+1 = wn - learning_rate▽相当于每次在梯度反方向减少的幅度，因为梯度是增加最大的方向，我们要找到极小值我们优化参数的目的就是让loss损失函数最小，所以每次都减少一点梯度方向的值"""#coding utf-8import tensorflow as tf#定义待优化参数w初值赋5"...

正则化"""正则化缓解过拟合正则化在损失函数中引入模型复杂度指标，利用给W加权值，弱化了训练数据的噪声loss=loss(y,y_)+REGULAERIZER*loss(w)loss(w)=tf.contrib.layers.l1_regularizer(REGULAERIZER)(w) lossL1(w1)=∑|wi|loss(w)=tf.contrib.layers.l2_re...

mnist_forward.pyimport tensorflow as tfINPUT_NODE = 784 #28*28个输入结点OUTPUT_NODE = 10 #0-9数字的概率列表 (十分类)LAYER1_NODE = 500 #一层隐藏层500个节点def get_weight(shape, regularizer): #tf.tr...