优化器(Optimizer)： 1.标准梯度下降法 先计算所有样本汇总误差，然后根据总误差来更新权值，但样本数目过大时，因为需要汇总所有样本总误差，更新速度慢 2.随机梯度下降法(SGD)-->速度慢、容易局部最优 随机抽取一个样本来计算误差，然后更新权值，但若每个样本都更新权值，权值更新的方向可能有误 3.批量梯度下降法 从总样本中选取一个批次(比如以供10000个样本，随机选取100个样本作为一个batch)，然后计算这个batch的总误差，根据总误差来更新权值 具体优化器： 1.SGD 2.Momentum 当前权值的改变会受到上一次权值改变的影响，类似小球向下滚动的时候戴上了惯性，这样可以加快小球的向下速度 3.NAG 4.Adagrad 优点：不需要人为调节学习率，可以自动调节 缺点：随着迭代次数的增多，学习率也会越来越低，最终会趋向于0 5.RMSprop-->不会出现学习率越来越低的问题，而且也能自己调节学习率，并且可以有一个较好的结果 6.Adadelta-->不需要设置学习率 7.Adam-->吴恩达推荐使用
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集,one_hot:将标签转换为只有一位为1，其它为0，会自动从网上下载数据集到当前目录 mnist=input_data.read_data_sets("MNIST_data",one_hot=True) #每个批次的大小 batch_size=100 #计算一共有多少个批次（整除） n_batch=mnist.train.num_examples//batch_size #该神经网络包含输入层、中间层、输出层，输入层包含784个神经元，输出层包含10个神经元 #定义两个placeholder,将28*28数字图片偏平为规格为784的向量 x=tf.placeholder(tf.float32,[None,784]) #标签结果 y=tf.placeholder(tf.float32,[None,10]) #设置神经元保活概率-->Dropout防止过拟合 keep_prob=tf.placeholder(tf.float32) #学习率变量,初始为0.001 lr=tf.Variable(0.001,dtype=tf.float32) #创建一个简单的神经网络 #一般权值初始化不能为0, 784x10,输入层784个神经元 W1=tf.Variable(tf.truncated_normal([784,500],stddev=0.1)) #偏置值初始化为0.1 b1=tf.Variable(tf.zeros([500])+0.1) L1=tf.nn.tanh(tf.matmul(x,W1)+b1) L1_drop=tf.nn.dropout(L1,keep_prob) #500个神经元 W2=tf.Variable(tf.truncated_normal([500,300],stddev=0.1)) b2=tf.Variable(tf.zeros([300])+0.1) L2=tf.nn.tanh(tf.matmul(L1_drop,W2)+b2) L2_drop=tf.nn.dropout(L2,keep_prob) #输出层10个神经元 W3=tf.Variable(tf.truncated_normal([300,10],stddev=0.1)) b3=tf.Variable(tf.zeros([10])+0.1) #softmax将输出转化为概率值 prediction=tf.nn.softmax(tf.matmul(L2_drop,W3)+b3) #二次代价函数,差的平方的平均值 #loss=tf.reduce_mean(tf.square(y-prediction)) #交叉熵代价函数的平均值 loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction)) #梯度下降法 #train_step=tf.train.GradientDescentOptimizer(0.2).minimize(loss) #Adam优化器 学习率：lr train_step=tf.train.AdamOptimizer(lr).minimize(loss) #初始化变量 init=tf.global_variables_initializer() #tf.argmax(y,1)返回1的位置(真实值)，tf.argmax(prediction,1)(预测值)返回概率值最大的位置，比较位置是否相等，若想等返回true，不等返回false，存放在布尔列表中 correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#tf.argmax()返回一维张量中最大值的位置 #求准确率 accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32)) with tf.Session() as sess: sess.run(init) # 对所有图片迭代51次 for epoch in range(51): #对所有图片分批训练一次,更改学习率(随着训练次数增加，减小学习率) sess.run(tf.assign(lr,0.001*(0.95**epoch))) for batch in range(n_batch): #获取一批(100个)样本图片,batch_xs:图片信息，batch_ys:图片标签 batch_xs,batch_ys=mnist.train.next_batch(batch_size) #利用训练图片信息及对应标签，梯度下降法训练模型，得到权重W及b，keep_prob=1.0代表训练时神经元不随机失活 sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys,keep_prob:1.0}) #获取学习率到leaning_rate leaning_rate=sess.run(lr) #利用测试集进行测试该迭代时模型的准确率 test_acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels,keep_prob:1.0})#利用测试集测试模型 #train_acc = sess.run(accuracy, feed_dict={x: mnist.train.images, y: mnist.train.labels,keep_prob:1.0})#利用训练集测试模型,准确率一定很高 #打印迭代次数及对应准确率、学习率 print("Iter "+str(epoch)+",Testing Accuracy "+str(test_acc)+",Leaning rate "+str(leaning_rate))
