想深入学习优化，有没有好的参考书推荐？

本人有一定的优化基础，至少知道cpt, gradient descent, admm之类的东西。如果想继续系统深入的学习，有没有大佬（水笔）有好的参考书推荐呢？可以是传统的方法，也可以是近代ml用的算法。越全越好。我现在看到一本https://www.amazon.com/Algorithm ... 12904973&sr=8-1
不知道怎么样。
还有convex optimization这本书https://www.amazon.com/Convex-Op ... 12905298&sr=8-3我的办公室同学有一本，感觉一般= =求指教！有质量的回复一定加米！

强烈推荐 CMU的课程，有视频
http://www.stat.cmu.edu/~ryantibs/convexopt-F18/



补充内容 (2021-2-13 05:34):
可以这个课程入门。然后去ICML和NIPS上找优化的文章读：SGD，first order accelerated methods, variance reduced methods(SVRG, SARAH, SPIDER), ADMM, natural gradient, federatedAvg, differential private SGD.

我找了一阵倒是看到了这个开放的wiki：https://optimization.mccormick.n ... index.php/Main_Page

和楼主分享一下最近发现的一本新书 http://flowlab.groups.et.byu.net/mdobook.pdf
看目录比较全而且适合入门, 至少把本人平常在科研中用到的算法都涵盖了。 准备有时间细读一下

Boyd例子很多很全，每个方面都特别细致，遇到优化问题需要查书的话第一反应就去看它。
但感觉对于自学会有点抓不住重点。

GreatFootGeass 发表于 2021-2-10 12:31
Boyd例子很多很全，每个方面都特别细致，遇到优化问题需要查书的话第一反应就去看它。
但感觉对于自学会有 ...

多谢回复！请问你还有其他参考书吗，他们怎么样？

分享下ML课上用的几本参考书的感受。
Amir Beck的Introduction to Nonlinear Opt，这个书算是精简的，每个章节迅速浏览能大概掌握些重要定理；
Bubeck的Convex Optimization，和Boyd, Bubeck很多重合，其推公式的套路可以学一下；
Prateek Jain的Non-convex Optimization for ML, 做nonconvex的入门，讲述时有ML的motivation；
Nesterov的Lecture on Convex Optimization，这本我没怎么看，特点是有比较新的内容；
John Duchi的Introductory Lectures on Stochastic Optimization, 东西很少，对个别专题感兴趣的话作为参考。

赶紧报名SCPD EE364B：https://online.stanford.edu/courses/ee364b-convex-optimization-ii

三月份报名截止。

没懂，学优化有什么用？求指教

optimization最好跟着课学，自己看书（特别是Boyd那本）会学的比较钻牛角尖。可以看看这个课得slides，我感觉还挺有用得。
https://wiki.illinois.edu/wiki/s ... ction?key=IE510SP20
如果还想了解些运用在dl,ml之外得optimization，可以看看4楼那本书。感觉cover了一些很基础的trust region啥的，还有surrogate，mdo的一些算法啥的，可以了解一下。