机器学习笔记第二章（吴恩达讲授）
假设函数代价函数梯度下降
这章通过一个预测房价的例子，介绍了假设函数、代价函数、梯度下降的基本概念，并着重讲了代价函数和梯度下降的理解
假设函数
通过已知的特征作为变量，预测标签或者目标值（不知道这个该叫啥，姑且就先叫目标值吧）的函数； 例如： 上图为预测奖预测房价例子中的假设函数，x为变量，其他两个参数都是常要拟合的常量
代价函数
代价函数是用来表示预测值与真实值偏差的函数例如： 上图为预测房价代价函数，这里使用的代价函数是求的预测值和真实值的平方差
梯度下降
梯度下降见文思意，这里的梯度我觉得可以理解为代价函数的偏导数，意思就是根据代价函数的梯度方向最快地减少代价函数的值，这样预测出来的代价函数才会最小，偏差相应地也就更小例如：下图为一个一般二元函数的图像 如上图为了使得代价函数的值最小，根据一点寻找梯度下降的方向向下走，直到局部最优具体的公式：这里就是不断地分别对θ0和θ1求：θ = θ-α*对应的偏导数，到达局部最优点，其中α是步长，这可能不是那么好理解，这里用θ1的偏导函数来举例：局部最优点在θm，当θ=θs时，偏导k小于0，θ运算一次增加；当θ=θb时，θ运算一次减少经过运算在一点一点向θ0靠近直到局部最优解，函数是一个连续的变化，越接近局部最优解，偏导绝对值越小，对应的改变率越小。当两个θ都局部最优的时候就找到了使代价函数局部最优的θ1和θ2的解这里代价函数采用方差的方式表示，局部最优解就是全局最优，上述代价函数的图像是这样的（像一个碗底）：
