立Flag上UCL David Silver的Reinforcement Learning

立个flag，争取10周上完。以后在这儿打卡上这门课。如果有同好可以在这儿聊作业或者slides。


补充内容 (2020-4-4 07:03):
这课换了链接地址： https://www.davidsilver.uk/teaching/

axyx 发表于 2020-3-29 01:35
豁然开朗。怪不得Silver这课也是主要做一个大作业就行。可见搞清楚基本框架后面就是不断的code，在实际问 ...

RL发展到今天，如果你不是搞各种算法（就是如何update你的function approximator）的话，就是在搞应用。
要用RL解决问题，主要写码有两块，一块是environment 和agent的交互，一块是如何update 比如说function approximator，或者Q table啊之类的。一般是分开来的。

如果真的有兴趣，open ai的spinning up也是一个很好的source。
https://spinningup.openai.com/en/latest/index.html

axyx 发表于 2020-3-28 02:31
Lecture 2上完了。话说这课难道没有作业吗？还是假设所有人对这些东西都特别熟，上上课就完了？
然后看Sut ...

我感觉那个kaggle就是训练一个alphago similar的就可以了
但是maybe that's an overkill

Silver这个课就是很 很  很 basic的传统RL
正经的trick他当然也不会讲，什么Deep rl之前是怎么对continuous domain做function approximation啊，option啊什么的。deep rl之后出现了很多不同的算法，具体你可以看看sergey levine的cs285，但那也不全（没有ppo），反正还是得看paper……然而看paper也没用，实际能跑的算法库比如baseline，spinning up，写得都很成熟的，不用自己造轮子，然而看看别人造的轮子我还是emmm吧哈哈哈（逃跑


我们在学校上课的时候project是replicate一篇paper hhh

另外 Sutton的书有练习 和text混在一起
想说的是RL水深，Silver入门不错

Hh我正在上 目前刚看完lecture 4。lz加个V：L_U_D_I_S_T_A_R （去掉所有的_）

这周末看了第一个lecture，因为是以前比较熟悉的东西，而且只讲了Markov，value function等一堆名词，所以比较快，基本没有难点。感觉讲的挺清晰的，sense也好。看看到了真正建模的时候讲得如何吧。

axyx 发表于 2020-3-24 01:31
这周末看了第一个lecture，因为是以前比较熟悉的东西，而且只讲了Markov，value function等一堆名词，所以 ...

这课没啥建模的感觉……

阿钟 发表于 2020/03/24 04:04:44
这课没啥建模的感觉……

有可能重点是model free路线，本来dynamic optimization也就是基本无解，上上看吧。

axyx 发表于 2020-3-24 13:50
有可能重点是model free路线，本来dynamic optimization也就是基本无解，上上看吧。

哎我意思是说 其实RL和其它的ml比没有什么模型的感觉 就是MDP然后来想办法解MDP

我也加入

第二个lecture快上完了，感觉名词越来越多，但是细细想来，也确实就是MDP，暂时没感觉难点。
默默觉得，难点难道是在写code上？

感觉可以一起刷一下，可以看看能不能拉个小群

Lecture 2上完了。话说这课难道没有作业吗？还是假设所有人对这些东西都特别熟，上上课就完了？
然后看Sutton的RL书也没有练习题，最后讲了几个case study。。。。
感觉没有作业上完了似懂非懂的。
话说 https://www.kaggle.com/c/connectx 这个貌似以后可以考虑compete一下，不知道上完课离这种项目还有多远。