谈谈Reinforcement Learning的学习经验与相关资料

renqibing 发表于 2020-3-14 20:49
我本科是做RL出身，在Caltech做过将近半年的研究。想问下楼主目前做machine learning engineer的bar有多高 ...

我觉得现在业界大部分的machine learning engineer还是博士，硕士还是比较少，过几年就不太清楚了。

你就是我的唯e 发表于 2020-3-14 19:34
我最近一年基本上一直在搞RL，我只是国内硕士在读，导师也不是搞这个方向的，自我摸索还是很痛苦。由于应用 ...

感觉这个类似于state stacking？就是除了St-1, 还取了St-2 ... St - n的这些状态放在一起作为input？这个我感觉蛮常规的呀，也蛮好用的。

xiaomaogy 发表于 2020-3-15 04:41
感觉这个类似于state stacking？就是除了St-1, 还取了St-2 ... St - n的这些状态放在一起作为input？这个 ...

确实是这样的，就是action受过去n个时刻的state共同影响。但是RL归根到底还是一个马尔可夫决策过程（MDP），就得满足马尔可夫性（下一个状态仅和前一状态有关）。可如果action受多个时刻的state影响就违背了马尔可夫性，那就不能视为一个MDP，那也就不能用MDP这一套理论了。我对此一直很有疑问

写的太好了，多谢分享

你就是我的唯e 发表于 2020-3-15 22:03
确实是这样的，就是action受过去n个时刻的state共同影响。但是RL归根到底还是一个马尔可夫决策过程（MDP ...

这个我就不太懂了，但是这个方法的效果是很好的。

你就是我的唯e 发表于 2020/03/15 22:03:33
确实是这样的，就是action受过去n个时刻的state共同影响。但是RL归根到底还是一个马尔可夫决策过程（MDP），就...

可以把St, St-1,… St-k都看成一个新的State？这么构建应该还是比较常见的？之前学random process的时候碰到过

tuckmo 发表于 2020-3-17 02:21
可以把St, St-1,… St-k都看成一个新的State？这么构建应该还是比较常见的？之前学random process的时候碰 ...

那这样的话，相邻几个时刻的state就会有一部分是一样的，这就违反了马尔可夫性啊

好奇问一下RL这边理论部分是不是比较少？（学校里虽然有RL的reading group但一直没去过）

敢问，，楼主，package多少哈哈哈

你就是我的唯e 发表于 2020-3-17 09:39
那这样的话，相邻几个时刻的state就会有一部分是一样的，这就违反了马尔可夫性啊

RL不一定说不能违反markov吧？有时候一个state里面多个timestep是有帮助的，比如如果你的X是摄像头拍下来的图，把state搞成(Xn，Xn-1，Xn-2）就等于把motion information包括进去了。这样的frame stacking是一个挺常见的方法

我还是搞不懂的是在deep Q learning里面，为什么要把现在的state放到bellman里面来计算网络给上一个state的target？
Q(s,a) = r(s,a) + y*max(Q(s', a))
希望大佬们能解释一下