组里面做ML路子有点野是什么体验

strmic1994 发表于 2021-8-3 17:17
I see. 不过感觉几千刀计算一次对大公司来说就是洒洒水吧，只要搞出来一个（有可能）上production的model ...

OK，逻辑是这样，一个方法要是在复杂的setting下（large scale MDP)下work那么一定也能在简单的setting下能work （比如小bandit)。所谓的DNN只是一个function approximation手段来处理large scale MDP的问题。一个方法的nature不依赖于是否用了dnn，举个例子就是比如Q learnign在bandit下就是个简单的比大小，但到了large scale mdp 下就得搞 DQN。所以论证一个方法是否work是看方法的nature。比如q learning在bandit下是比大小，但这个比大小就能guarantee得到 global optimal，那说明这方法在bandit上没毛病。但如果一个方法连小bandit问题处理起来都有问题的话那到了large scale 用dnn显然更会出问题。我这次的这个tech lead提出的方法简化到bandit上其实就成了一个简单的finite linear programming问题，可以解析解算出来。

summeratjuly 发表于 2021-8-3 17:19
没有context无法确定是否apply

但是对于大厂来说，按年薪25w+一年260个工作日来说，一个工程师一天的 ...

. 1point3acresemmmm，关键问题是原来的方法几乎就是无效调参，并不能提升performance和减少engineer的工作时间

匿名者 发表于 2021-8-3 14:17
可以的！居然被你猜对了，hhhh

工作，就是让老板高兴就行。花钱多没事，公司不在这里花钱也要在那里花钱。你不花别人也要花 ：）

匿名者 发表于 2021-8-3 17:17
这个暑假也在实习 虽然不是MLE但也做一些model 跟楼主体验有很相似的地方... tech lead有自己的想法 我提出 ...

pat pat。。。这确实是个大问题。。。不知道怎么有效沟通TAT

每只猫都是天使 发表于 2021-8-3 17:29
工作，就是让老板高兴就行。花钱多没事，公司不在这里花钱也要在那里花钱。你不花别人也要花 ：）

哈哈哈，说的有道理！毕竟我就是个路过的小intern

匿名者 发表于 2021-8-3 16:28
OK，逻辑是这样，一个方法要是在复杂的setting下（large scale MDP)下work那么一定也能在简单的setting下 ...

我99%的情况下buy你这个argument。你可以说连小规模tabular data都搞不定（这个大概率可以prove出来），大规模上了DNN也是晾凉。不过和TL聊的时候要make sure他/她真的明白（1）为什么tabular data上work不了，either给一个他看得懂proof or 做实验，（2）为什么可以从小的experiment generalize到large space data。这些听上去容易，但是实际操作起来的effort有时候太大了（特别是对于没有很多related background的人解释清楚），还不如直接做一个实验用结果说话堵住他们的嘴。

还有1%的情况，Tabular data上的Q/V iteration和Large scale data上的DNN-based policy optimization之间的gap太大，真的不能generalize。。。有时候DNN真的可以暴力出奇迹（特别是数据量真的够大的情况）。我自己经过几次“被教做人”之后，就对这些可能暴力但是没有理论依据的方法放开了。如果TL建议的方法workload不是太大的话，其实可以open minded试一试。

strmic1994 发表于 2021-8-3 17:43
我99%的情况下buy你这个argument。你可以说连小规模tabular data都搞不定（这个大概率可以prove出来）， ...

非常感谢建议！不过关于第二点我已经做了large scale 实验结果证明了几乎不work  wwwww

匿名者 发表于 2021-8-3 14:28
OK，逻辑是这样，一个方法要是在复杂的setting下（large scale MDP)下work那么一定也能在简单的setting下 ...

其实这个观点我非常同意的. 虽说DL在大规模问题下可能量变产生质变. 但我每次上新模型结构的时候, 都会保证这个模型结构能够在小规模数据(e.g. by sampling)下面能够overfit这个数据, 来确保模型的结构能模拟数据的分布. 这也是一个很常用的手段来判断你的模型结构靠不靠谱.

咸鱼会翻身0 发表于 2021-8-3 18:34
其实这个观点我非常同意的. 虽说DL在大规模问题下可能量变产生质变. 但我每次上新模型结构的时候, 都会保 ...

是的，然后找小counter example也是平常搞research或review Paper时候经常用来dis别人paper的方法不好的一个有效手段

hhhhh 比较难受的是组里tech lead貌似不太get还是不太care (???迷惑），我自以为已经很容易理解了（高中数学足以。。。）但那个人还是想继续搞TAT

匿名者 发表于 2021-8-3 14:03
RL推荐方向

好奇是哪个产品方向。notification? ads?