组里面做ML路子有点野是什么体验

匿名用户 发表于 2021-08-03 14:17:06
可以的！居然被你猜对了，hhhh

那个系统显示的几千刀都是往多的说的 否则咋显示自己infra的impacts呢哈哈

匿名用户 发表于 2021-08-03 16:49:16
做ML也不能忘记环保呀~hh

现在我review papers都要看social environmental impact了

很多product组做ML都不是很讲究科学方法。最近流行大模型，有的组就为了scale而scale，也不做小规模实验来估计大模型的收益。

DreamBoy 发表于 2021-8-3 20:25
那个系统显示的几千刀都是往多的说的 否则咋显示自己infra的impacts呢哈哈

原来是这样吗！！！！！！！套路深呀

DreamBoy 发表于 2021-8-3 20:26
现在我review papers都要看social environmental impact了

hhhhhhh，看来除了assumption， social impact也是以后一个方便写review的点了

harrybob 发表于 2021-8-3 20:27
很多product组做ML都不是很讲究科学方法。最近流行大模型，有的组就为了scale而scale，也不做小规模实验来 ...

确实是这样，哎，其实稍微多花一点时间分析下small scale的feasibility其实能大大节约之后large scale的时间和成本，怎么看都是值得的

匿名者 发表于 2021-8-3 14:03
（1）电费和数据量有关吧，就算是不大的neural network数据几亿的话计算一次就要几千刀，这个不是浪费吗 ...

那个estimate不是电费吧 是如果用正常的aws的话，要多少钱吧

另外一个我司的算力可能更多浪费在了各种原因fail掉的flow上 而不是一个成功的flow浪费掉的

有意思，如果我想了解业界被实际应用的NN architect (比如多少层，什么activation)。在哪里能够了解到这些信息呢？Maybe各大厂的tech blog？

我最近要搭一个large-scale NN，在想有没有啥可以借鉴的

michael.guo 发表于 2021-08-03 18:49:16
有意思，如果我想了解业界被实际应用的NN architect (比如多少层，什么activation)。在哪里能够了解到这些信息呢？Maybe各大厂的tech blog？

我最近要搭一个larg

业界NN大部分都不大，想了解一下你们为什么需要large scale NN，多大算large scale？

之前实习的时候，supervised learning能很简单的解决的问题manager非要reinforcement learning来做，调参调的头大。因为他就觉得RL能忽悠人、能拿内部funding。就像要搞AGI一样，太坑了