在职刷题上课准备ML Engineer打卡

heyhenry 发表于 2019-3-24 05:41
我也想做MLE，请问ML system design您用什么资料复习呀？

我打算就看面经，然后根据面经面的补一些知识，同时指路这个帖子，我觉得总觉得挺好的https://www.1point3acres.com/bbs ... read&tid=463011

补充内容 (2019-3-24 13:19):
总结得。。。

Day 38
----------
继续mock google onsite。。。
-------
Robot Return to Origin
Expressive Words
Most Stones Removed with Same Row or Column
Longest Increasing Path in a Matrix
------------

（补Day39）
system design
Design tiny url... 看Tushar Roy的youtube讲的，顺便又看了一下网上搜的，补习一下概念

有一个问题， 在deep learning 里面用stochastic gradient descent (SGD)计算weight 和 bias 的时候， 在每个mini batch 里面的公式是 new_weight = old_weight - (learning_rate/mini_batch_size)* delta_weight

为什么公式里面learning rate 要除以mini_batch_size(如何理解)? 这样的话如果mini_batch_size 越大，那么实际的learning 速度就越小? 这个除以mini_batch_size是SGD特有的还是普通的gradient descent都有?

hengde12 发表于 2019-3-26 11:32
有一个问题， 在deep learning 里面用stochastic gradient descent (SGD)计算weight 和 bias 的时候， 在每 ...

这个除以mini_batch_size是每个人的表示习惯不同吧？mini_batch_size是prefixed，所以和learning_rate一样可以看成是常数，learning的速度的是指一旦train起来了，这时候learning_rate/mini_batch_size就是一个常数，真正会改变learning的速度的是gradient, 如果gradient越来越趋于0，你的learning速度就越来越小

Day40
-----
ML system design
Wide&Deep Learning for Recommender Systems

llss22 发表于 2019-3-26 13:08
这个除以mini_batch_size是每个人的表示习惯不同吧？mini_batch_size是prefixed，所以和learning_rate一 ...

觉得mini_batch_size应该和learning_rate是不同的，如果两者可以合为一个常数，那么就应该不需要有mini_batch_size这个概念了因为单独调learning_rate就可以了。 在Micheal Nielsen的书"Neural networks and deep learning" https://github.com/antonvladyka/neuralnetworksanddeeplearning.com.pdf/blob/master/book.pdf 的26页底部的代码写道 w - (eta/len(mini_batch)*nw), 这里eta是learning_rate, w 是old_weight, len(mini_batch) 是mini_batch_size, nw是delta_weight。 下面是截图红色框框就是

但是就是不知道为什么要除以mini_batch_size?

hengde12 发表于 2019-3-26 14:03
觉得mini_batch_size应该和learning_rate是不同的，如果两者可以合为一个常数，那么就应该不需要有mini_b ...

我的意思也是mini_batch_size是和learning_rate不一样的，两个没办法合为一个常数，我的意思是，这两个都是training前就调好的参数，真正train起来以后这个是不会变的，调参的时候也是分别调，调learning_rate是改变update的步长，mini_batch_size是控制每个batch的example数量，调节train的速度和总的performance的variance，虽然这个很少调。。至于除以mini_batch_size, 只是normalization吧，感觉和regularization的时候，大家也喜欢用lambda/(num_samples) 放在regularizaion里面，和likelihood function里面的sum_消除

llss22 发表于 2019-3-27 00:27
我的意思也是mini_batch_size是和learning_rate不一样的，两个没办法合为一个常数，我的意思是，这两个都 ...

不过update weight的公式new_weight = old_weight - (learning_rate/mini_batch_size)* delta_weight 是没有涉及到regularization的。 就是不明白为什么learning rate要处理mini_batch_size再乘以delta_weight  (partial derivative of error with respect to weight) , 不应该是learning rate 直接乘以delta_weight就可以了吗。

Day 41&Day42
上班忙。。。。
----------
ML knowledge:
Learning from Imbalanced Data
---------------------------
Leetcode
Random Pick with Weight
leetcode的mock好弱，mock了两次？今晚的session全是mock过的题了。。。。。