谷歌机器学习场地面

感谢分享

楼主面的是5吧？感觉问题和回答都很有质量。

bona 发表于 2019-3-15 14:31
楼主面的是5吧？感觉问题和回答都很有质量。

是的，面的5.

天呐 楼主太厉害了！ 想请教一下"L0"  为什么是dropout？谢谢！

这个问题很难说明白，我尝试一下。

如果在坐标系里面展现loss和regularization的关系的话，我们可以看到用L1（矩形），L2 （圆形）时，regularization constraint和loss具有唯一切点（可以参考图https://forums.fast.ai/uploads/d ... 3ac918c442c7e46.jpg）。L0的形状是N条直线，这样与loss会有多个交点。这表明最优解不为一个。
在传统的ML里面，我们基本做的是凸优化，即只有唯一最优解。因此L0对凸优化为题没意义。但是如果我们用NN的话，我们基本假设这个优化问题不是凸的，所以也不期待找到最优解，只要找到不错的解就行了。这时候我们不怕loss和regularization有多个交点，反而这表明我们找到了多个不错的解。即对一个给定的NN architect，存在多种参数组合使的这样的NN足够好。我们可以同时用多个这样的NN（即ensemble）。

从dropout的角度来看，它可以认为是一种隐性的ensemble。训练时每次去掉部分结点等同于训练一个具有原来NN所有结点子集的一个NN。在做预测时用所有结点，可以认为就是那所有这样的结点子集的NN做ensemble。做ensemble的以为我们有多个我们认为可以用的model（loss够低）。


希望回答了你的问题。

amber110 发表于 2019-8-1 06:10
天呐 楼主太厉害了！ 想请教一下"L0"  为什么是dropout？谢谢！

这个问题很难说明白，我尝试一下。

如果在坐标系里面展现loss和regularization的关系的话，我们可以看到用L1（矩形），L2 （圆形）时，regularization constraint和loss具有唯一切点（可以参考图https://forums.fast.ai/uploads/d ... 3ac918c442c7e46.jpg）。L0的形状是N条直线，这样与loss会有多个交点。这表明最优解不为一个。
在传统的ML里面，我们基本做的是凸优化，即只有唯一最优解。因此L0对凸优化为题没意义。但是如果我们用NN的话，我们基本假设这个优化问题不是凸的，所以也不期待找到最优解，只要找到不错的解就行了。这时候我们不怕loss和regularization有多个交点，反而这表明我们找到了多个不错的解。即对一个给定的NN architect，存在多种参数组合使的这样的NN足够好。我们可以同时用多个这样的NN（即ensemble）。

从dropout的角度来看，它可以认为是一种隐性的ensemble。训练时每次去掉部分结点等同于训练一个具有原来NN所有结点子集的一个NN。在做预测时用所有结点，可以认为就是那所有这样的结点子集的NN做ensemble。做ensemble的以为我们有多个我们认为可以用的model（loss够低）。


希望回答了你的问题。

谢谢楼主，楼主最后拿到offer了吗

yangshao 发表于 2019-2-9 08:42
第三轮那个题，似乎更快的做法，如果不用sufix xxx之类的东西的话， 可以二分答案， 假定长度是k, 枚举两个 ...

想请教一下，因为不知道k为多少，不是要枚举很多次吗？