谈谈Reinforcement Learning的学习经验与相关资料

qiaofengmarco 发表于 2020-3-12 10:44
感谢分享！本科的时候做research啃完了RL字典第二版，感觉对原理的理解上升了一个新的维度，但实践上远远不 ...

RL在业界的落地我目前所知的有以下这一些

1. OpenAI， Deepmind， Google Brain， FAIR这些高大上研究所做的偏应用的demo。OpenAI Five， AlphaGo等等都算这一类。当然他们这些机构的主要目标还是发paper，做出state of the art result。

2. Ads，Recommendation领域的应用，很多大厂（Google， Facebook， Twitter）的收入都非常依赖Ads，因此在这一块儿的一点点提升可以有很大的impact。这里主要用的是Batch RL相关的技术，跟Robotics， Gaming里面用的RL有点不一样，尤其是其Evaluation的方式。在这一块儿最有名的就是Facebook开源了的ReAgent项目。
https://github.com/facebookresearch/ReAgent

3. 游戏相关的应用。因为我自己做这一块儿所以对这一块儿比较关注。我们组做的开源项目Unity ML-Agents我觉得是这个领域的标杆之一：https://github.com/Unity-Technologies/ml-agents，有很多游戏工作室已经开始尝试用我们这个项目，主要的目的是把RL技术用于他们游戏中来训练Bot。

4. Self-Driving相关

Self-Driving目前业界主要还是在用Rule based的方法来做planning/behavior。 主要的原因是这样的方式可解释，风险可控。RL的算法还是不稳定，而且这个不稳定是模型的本质决定的，短期内不太有希望可以解决。不过还是有很多Self Driving公司的偏R&D的组开始在尝试RL的方法，具体效果怎么样不太清楚，如果有同学做这个的希望可以出来讲讲，非常好奇。

5. Robotics相关

我知道Boston Dynamics似乎是完全没有用RL的，还是在用Control的那些算法。其它有名的Robotics公司不太清楚，可能大疆在做？

6. 其它可以创建模拟环境的优化场景

这个我只是有所耳闻。比如你要解决一个供应链的问题，决定什么时候什么东西要生产多少，什么时候运到哪儿。解决方法之一是可以针对这个问题做一个虚拟环境，然后用RL的算法去优化每一个环节。

这个也可以推广到别的场景，或者说几乎所有的可以转化成模拟环境的问题都可以用RL去解决。


总体来说， 1肯定是要相关领域的PhD+一些工程师去做， 2跟钱最相关，我比较看好。3，4，5，6我觉得刚刚起步，什么时候成熟还未可知，但是我觉得至少3大方向还是对的，是可以解决一些实际的问题的。

leihao1313 发表于 2020-3-12 09:39
看完了Silver的课, Sutton的教材, 和cs285一半的课程.
如果不是职业需要建议看完Silver的课就行了, 无论是 ...

同感，RL要弄懂花的精力实在很多。不是Control，Robotics之类出身的人，要进入这个方向需要花费大量的时间。

tuckmo 发表于 2020-3-13 02:19
感谢Lz. 由于研究内容原因了解了一些目前RL的算法，看起来发paper依旧是用deep neural network为主流。Lz能 ...

我们主要用的就是PPO(on-policy里面比较主流的算法，很稳定，对于超参数不太敏感)，SAC（Off-policy里面的标杆算法，虽然没有PPO稳定，但是sample efficiency高很多，适合simulation environment比较慢的情况），GAIL （就是可以用human 的demonstration data改进performance，然后再加上PPO/SAC去做进一步的训练，相当于在PPO/SAC训练中，除了环境给与的reward，同时再考虑demonstration给与的reward）。

xiaomaogy 发表于 2020-3-13 02:47
我们主要用的就是PPO(on-policy里面比较主流的算法，很稳定，对于超参数不太敏感)，SAC（Off-policy里面 ...

非常感谢！调参实在是太玄学（对本菜鸡来说）在reward上做文章确实是现在的趋势，也有很多有意思的想法。

谢谢楼主！mark了！

我最近一年基本上一直在搞RL，我只是国内硕士在读，导师也不是搞这个方向的，自我摸索还是很痛苦。由于应用场景是continuous action space，所以一直在用DDPG。不过我觉得自己的想法有点问题，因为我尝试构造state的时候，加入了过去一段时刻的信息，这其实违反了马尔可夫性，但看效果其实也还可以，不知道楼主有没有什么建议。。

我本科是做RL出身，在Caltech做过将近半年的研究。想问下楼主目前做machine learning engineer的bar有多高呢？我目前打算去工业界发展，在纠结是读master还是PhD，希望楼主可以解答一下。

你就是我的唯e 发表于 2020-3-14 19:34
我最近一年基本上一直在搞RL，我只是国内硕士在读，导师也不是搞这个方向的，自我摸索还是很痛苦。由于应用 ...

可以看看 google的 RDPG论文，感觉也是会用到 过去的状态信息。

你就是我的唯e 发表于 2020-3-14 19:34
我最近一年基本上一直在搞RL，我只是国内硕士在读，导师也不是搞这个方向的，自我摸索还是很痛苦。由于应用 ...

可以看看 google的 RDPG论文，感觉也是会用到 过去的状态信息。

RL training on the test set