最小二乘问题详解6：梯度下降法

梯度下降法在人工智能的机器学习中使用的非常多，因为机器学习的训练过程通常被形式化为
经验风险最小化问题（Empirical Risk Minimization, ERM）：即在训练数据上最小化损失函数。而最小二乘问题其实也是经验风险最小化问题的一种，甚至机器学习的某些任务（比如回归）本身就是最小二乘问题。经验风险最小化问题是一种通用的函数拟合框架，不过损失函数有所不同，通常使用梯度下降法来进行求解。