狗家和脸家做research的不同感受

DreamBoy 发表于 2021-6-28 04:08
難道bert不是解決實際問題？transformer不是？

哈哈 那必须是。Google 因为 limitation 少，所以出来的经常是大活儿，groundbreaking 那种，但有的时候也难免被人诟病大力出奇迹。比如上来先用 JFT-300m pretrain 的 image model，用上千块 GPU 暴力 NAS 搜出来的 efficientnet 和 mobilenet v3，等等。FB 做的更像小而美的活儿，也不是烧不起那么多计算资源，可解决实际问题暴力不一定/一定不是最优解，所以这种基于限制条件下的解决问题的思路让他们做的工作更可复现，也对学术界和其他公司更有借鉴作用。

作为个人，吃瓜当然 G 的工作声名赫赫，可从业者更注重的是能否复现以及能否 deploy。作为公司，有几家可以支持像 G 这种程度的烧钱呢，那他们招人的时候是更看重做过暴力出奇迹的人还是四两拨千斤的人。身为 kaiming 的野生粉头，我站我家哥哥

Argot 发表于 2021-06-27 16:26:12
哈哈 那必须是。Google 因为 limitation 少，所以出来的经常是大活儿，groundbreaking 那种，但有的时候也难免被人诟病大力出奇迹。比如上来先用 JFT-300m pretr

我不是做cv的 不过感觉kaiming最近没有特别亮眼的工作了？是不是最近退休状态了哈哈 还是我孤陋寡闻了？

同意！正如楼主第一点指出的，个人感觉脸家infra是最主要的问题。infra不行，要做groundbreaking的东西花得力气大，风险太高，所以大多选择incremental的改动。脸家ml infra和业界sota差距很大，任重道远。

DreamBoy 发表于 2021-6-28 07:40
我不是做cv的 不过感觉kaiming最近没有特别亮眼的工作了？是不是最近退休状态了哈哈 还是我孤陋寡闻了？

最近好像确实没什么爆点，刚去看了一眼，他今年有一篇 CVPR best paper 提名

fundrive666 发表于 2021-6-28 00:52
其实狗家除了Brain和DeepMind之外，RMI的research最终目标都是要能让产品组adopt才行的。我倒是觉得由于F ...

RMI 不了解，楼主能不能简单介绍一下啊？

匿名者 发表于 2021-6-28 07:48
同意！正如楼主第一点指出的，个人感觉脸家infra是最主要的问题。infra不行，要做groundbreaking的东西花得 ...

>>> "脸家ml infra和业界sota差距很大"

层主可以展开说说 ML Infra 这部分吗？感谢！

lz的水平一定非常非常高了吧，这种厂里面的research组听说都是top school AP实力的人，lz还能跳2家？

首先想肯定下两家的research绝对都是业界顶尖水平，毕竟绝大多数公司都没资源往这方向烧钱。

楼主说的research,是only for ML, 还是general的，也包括SDE的方向，infra这些？

本人做的偏system, 请问大家对于FB和Google非AI直接相关的research怎么看？

DreamBoy 发表于 2021-6-28 07:40
我不是做cv的 不过感觉kaiming最近没有特别亮眼的工作了？是不是最近退休状态了哈哈 还是我孤陋寡闻了？

最近几年不还是best paper拿到手软？