第2章 模型估计与优化

在机器学习领域，很多机器学习模型的输入输出规则在本质上都可以看成是某种映射函数，作为初始模型的映射函数通常包含一组待定的未知参数，需要通过对训练样本的学习来确定这些参数的合理取值。因此，机器学习中有一大类模型的求解过程实际上是解决这些未知参数的取值问题。通常使用对目标函数进行优化计算的方式获得参数取值。如果初始模型较为简单，则模型求解的目标函数通常也较为简单。对于目标函数为线性函数的情形，可用单纯形法等常用线性规划方法获得精确解，实现对所求优化模型的精确构造。然而，用于机器学习模型优化的目标函数主要是非线性函数或约束条件中含有的非线性函数，通常称这类优化计算问题为非线性规划问题。目前还没有针对此类优化计算问题的通用精确解法，而是使用具有针对性的近似计算方法进行模型参数求解，构造具有一定精度的近似优化模型。对于比较简单的非线性目标函数，通常使用参数估计方式直接对模型参数进行近似估计。对于较为复杂的非线性目标函数，直接对其进行参数估计一般难以取得满意的效果，此时通常使用迭代计算或动态规划方式逐步优化模型参数估计值，使得模型性能得到逐步提升并达到最优或近似最优。此外，还需采用一些特定策略对模型做正则化处理以尽量消除模型中可能存在的过拟合现象。本章主要介绍模型求解的近似计算方法，首先，简要介绍模型参数估计的基本方法；然后，介绍几种常用的模型优化近似计算方法，包括基本的近似优化方法和概率型近似优化方法；最后，介绍模型正则化的基本概念和常用策略。