《最优化:建模、算法与理论》、《最优化计算方法》代码展示
此系列页面为配套《最优化:建模、算法与理论》、《最优化计算方法》的代码展示, 包含完整的算法和数值实验的 MATLAB 实现以及详细的注释。 有兴趣的读者可以通过阅读代码细节理解算法及其数值表现,并且掌握其中的代码技巧。
按照书中算法与应用实例出现的顺序,将页面整理如下。其中标注“实例”的表示数值实验, 其它则为算法实现。同时,在数值实验和相应的算法的页面中都提供了相互的链接以供参考。 另外,我们还将 LASSO 问题求解与逻辑回归两个实例整理在最后。
目录
程序下载
所有算法的源文件以及其它数据文件, 请下载该压缩文件。
本系列页面所含代码适用于教学目的。在科研、生产等环境中, 读者还需选择专业的算法程序完成所需任务。
无约束优化算法
- 梯度类算法
- LASSO 问题的梯度下降法
- 实例:利用梯度法解 LASSO 问题
- LASSO 连续化策略(此算法应用在梯度下降以及若干其它算法中)
- BB 步长梯度下降法
- 实例:Tikhonov 正则化模型用于图片去噪
- 次梯度算法
- 牛顿类算法
- 拟牛顿类算法
- 信赖域算法
- 非线性最小二乘问题
约束优化算法
- 罚函数法
- 增广拉格朗日函数法
复合优化算法
- 近似点梯度法
- 近似点算法
- 分块坐标下降法
- 对偶算法
- 交替方向乘子法
- 随机优化算法
应用:LASSO 问题求解
LASSO 问题是在多个算法中出现的应用,现将其整理如下:
- 使用连续化策略的 LASSO 问题求解
- 不使用连续化策略的 LASSO 问题求解
可以看出 LASSO 问题的连续化策略在其求解的过程中扮演着重要的作用。
应用:逻辑回归问题求解
参考与版权信息
- 刘浩洋,户将,李勇锋,文再文,最优化:建模、算法与理论(详细版)
- 刘浩洋,户将,李勇锋,文再文,最优化计算方法(简明版)
- 最优化:建模、算法与理论/最优化计算方法 。
限于作者的知识水平,程序中难免有不妥和错误之处,恳请读者不吝批评和指正。
勘误收集: 如果您发现任何不妥和错误之处,麻烦您通过此链接反馈。
代码作者:
- 文再文 (wenzw@pku.edu.cn)
- 刘浩洋 (liuhaoyang@pku.edu.cn)
- 户将 (jianghu@pku.edu.cn)
代码整理与网页制作:
- 杨昊桐 (haotongyang@pku.edu.cn)