优化器：

1.标准梯度下降法         先计算所有样本汇总误差，然后根据总误差来更新权值，但样本数目过大时，因为需要汇总所有样本总误差，更新速度慢     2.随机梯度下降法(SGD)-->速度慢、容易局部最优         随机抽取一个样本来计算误差，然后更新权值，但若每个样本都更新权值，权值更新的方向可能有误     3.批量梯度下降法         从总样本中选取一个批次(比如以供10000个样本，随机选取100个样本作为一个batch)，然后计算这个batch的总误差，根据总误差来更新权值          具体优化器-->以后再补：         1.SGD         2.Momentum             当前权值的改变会受到上一次权值改变的影响，类似小球向下滚动的时候戴上了惯性，这样可以加快小球的向下速度         3.NAG         4.Adagrad             优点：不需要人为调节学习率，可以自动调节             缺点：随着迭代次数的增多，学习率也会越来越低，最终会趋向于0         5.RMSprop-->不会出现学习率越来越低的问题，而且也能自己调节学习率，并且可以有一个较好的结果         6.Adadelta-->不需要设置学习率         7.Adam-->吴恩达推荐使用 

 

使用Adam替代二次代价函数

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集,one_hot:将标签转换为只有一位为1，其它为0，会自动从网上下载数据集到当前目录 mnist=input_data.read_data_sets("MNIST_data",one_hot=True) #每个批次的大小 batch_size=100 #计算一共有多少个批次（整除） n_batch=mnist.train.num_examples//batch_size #该神经网络只输入层和输出层，输入层包含784个神经元，输出层包含10个神经元 #定义两个placeholder,将28*28数字图片偏平为规格为784的向量 x=tf.placeholder(tf.float32,[None,784]) #标签结果 y=tf.placeholder(tf.float32,[None,10]) #创建一个简单的神经网络 #权值初始化为0, 784x10 W=tf.Variable(tf.zeros([784,10])) #偏置值 b=tf.Variable(tf.zeros([10])) #softmax将输出转化为概率值 prediction=tf.nn.softmax(tf.matmul(x,W)+b) #二次代价函数,差的平方的平均值 #loss=tf.reduce_mean(tf.square(y-prediction)) #交叉熵代价函数的平均值 loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction)) #梯度下降法 #train_step=tf.train.GradientDescentOptimizer(0.2).minimize(loss) #Adam优化器 学习率：0.01或者1e-2：代表10的-2次方 train_step=tf.train.AdamOptimizer(0.01).minimize(loss) #初始化变量 init=tf.global_variables_initializer() #tf.argmax(y,1)返回1的位置(真实值)，tf.argmax(prediction,1)(预测值)返回概率值最大的位置，比较位置是否相等，若想等返回true，不等返回false，存放在布尔列表中 correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#tf.argmax()返回一维张量中最大值的位置 #求准确率 accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32)) with tf.Session() as sess: sess.run(init) # 对所有图片迭代21次 for epoch in range(21): #对所有图片分批训练一次 for batch in range(n_batch): #获取一批(100个)样本图片,batch_xs:图片信息，batch_ys:图片标签 batch_xs,batch_ys=mnist.train.next_batch(batch_size) #利用训练图片信息及对应标签，梯度下降法训练模型，得到权重W及b sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys}) #利用测试集进行测试该迭代时模型的准确率 acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels}) #打印迭代次数及对应准确率 print("Iter "+str(epoch)+",Testing Accuracy "+str(acc))

 

运行结果：