机械Phd 转 deep learning, CV 方向

bigyeet 发表于 2020/04/29 03:12:58
导师不懂的话一定一定一定要寻找ML厉害的人，其他教授或者做过的同学。我是ME专业但是我的课题围绕着deep learni...

谢谢，谢谢，共勉了。我也是上手很难，最开始的Python 学起，最开始什么都不会很焦虑，不过唯一的好处就是我选了学校一门AI的硕士课，什么都能接触一点，课上老师是个台湾人抱大腿应该是不现实了。
就靠着老师推荐的书，从里面抄模型，一句一句读非常慢，好在熬过了看懂模型，现在又卡在提高正确率，又看到别人说要发文章，瞬间就懵b了，所以感觉比较焦虑，看到这条路能走下去，还是安心很多，谢谢了。

qinxi0117 发表于 2020/04/29 01:11:28
还有带头转方向的的导师 真是良心啊

老师本来就做模拟，他又拿到tenure了，反正都是模拟，他就让我自己做了，不过项目还是得做，还是需要钱的

加油！ 我也是机械达。 不过要是想做SDE的话，ML知识是其次呢，主要还是刷题，题刷好，进Google... 面ML岗位的话，确实要更辛苦

都phd了, 还是CV方向, 就别整什么cs学位都了, 你又不去quit转码 (当然我建议直接转码). 你要是想读下去这个phd, 我给你指条明路吧.
第一, 别做二维CV了, 这两年越来越难做了, 连你的导师都不了解ml, 你们是玩不过Google Facebook的.
第二, 我不懂机械, 盲猜你可能几何与物理不错, 建议直接上手三维CV和用神经网络做动态系统预测. 前者业界学术界皆可, 现在的明星话题, paper没多少, 更关键的是目前还没有ResNet和YOLO这种二维CV里面打遍天下无敌手的算法. 后者业界目测10年内没啥用, 但是水起paper来不要太爽, ml的人写的paper一看就是物理渣, 物理那帮人写的paper感觉看起来连CNN都还没完全搞懂, 你用点心哪怕从零入门两三个月直接sota了.

BIUBIUBIUBIU 发表于 2020-4-29 07:46
都phd了, 还是CV方向, 就别整什么cs学位都了, 你又不去quit转码 (当然我建议直接转码). 你要是想读下去这个 ...

这是真的，无人车里面一堆动力学不懂的在搞ml based control，我打算把这写道我的课题里面去

bigyeet 发表于 2020-4-29 08:49
这是真的，无人车里面一堆动力学不懂的在搞ml based control，我打算把这写道我的课题里面去

哈哈哈哈哈是啊 我感觉纯ml的人怕不是头秃了也搞不出....

入门的话建议看一下csn231，写一遍这门课的作业（他们家作业经常会被当作面试题）然后fast ai的网课也很好，是从engineering的角度出发。
以上两门课是千千万万转行学子都刷过的。
入门之后，建议选一个方，然后开始刷paper，做项目积累经验
泼个小冷水：
个人觉得，现在deep learning 对转行的不是特别友好，只会写个pipeline，试各种optimizer，scheduler，augmentation，调个别人的pre-train model（所谓的DL调参侠。。）拿offer有点难。楼主有老板带的话，如果可以发paper，还是有优势的，不过还是建议楼主认真考虑希望找什么样的DL工作，有方向的进行准备。
DL的东西很多，很杂。在漆黑的森林里走路很容易迷失了自己。我曾不知天高地厚学了一年多DL，刷完了各个网课，看完了Ian的书，读了好多paper，这期间阶段性的自大，一度觉得自己已经是林中猛兽了，后来发现自己做的东西在别人眼里都是toy。。。。

一般DL有三个track（cv，我不懂nlp）：
- DL research: 前沿DL研究，主要是实现，优化state of the art，一般企业会prefer发过文章/会议论文的，或者做过一些跟他们产品比较相关，深层次的项目的。DL researcher基本都是各大学校的cs phd，所以bar比较高，面试你然后蔑视你，哈哈哈哈。
- DL engineer：实现底层的一些模块，对GPU编程有要求。大多数DL的模块是用cuda进行优化的。比如：你可以用numpy写一个conv layer（常见面试题。。），但是pytorch里的conv之类的模块，都是用cuda写的。
- DL software engineer：写一些deep learning的high level训练框架，data pipeline，visualization等，本质上算是个SWE with basic DL/ML knowledge，面试基本就是SWE coding难度+基础ML/DL问答





我觉的，DL是有“鄙视链”的（个人观点，勿喷），建议楼主在学习过程中要经常自省。

- 底层: 只会写个pipeline，做的项目用到的东西全是pytorch里已经写好的，model从torchvision里拿现成的，从没train from scratch过，只会classification network。（一个例子是：明白skip connection是什么，但不明白shape不同的layer间是怎么connect的）
- 入门：理解模型细节，尝试过修改和优化模型架构。尝试过除classification之外的task，比如说detection，segmentation，GAN之类的。

- 进阶：发过paper，特别擅长某个方向，尝试过beat state-of-the-art。有必杀技：比如你会cuda，看完别人写的模块，摇摇头，然后用cuda把它优化到飞起。或者你用detectron2用的贼溜，明白这个包的细节。给你任务，你能快速上手设置然后训练各种模型。

另外，根据个人观察，cv方向：
- detection，segmentation network 比较吃香（generally）
- 这一两年很多人搞3D detection（水深浅不了解）
- 最好弄懂一些传统的cv技术harris corner，SIFT什么的
- DL会cuda是大大的加分项
- 学个高级一点的包：比如detectron2。
- 多看一些sota的repo，看看别人是怎么实现的（有些paper，虽然技术很简单，但是人家也是把在各个public dataset上训练了个遍然后才得出的结论）

最后，建议楼主用一个不是那么可靠的量化指标来记录自己的进程：GPU hours

加油！

gjia0214 发表于 2020-4-29 10:04
入门的话建议看一下csn231，写一遍这门课的作业（他们家作业经常会被当作面试题）然后fast ai的网课也很好 ...

明白了，非常实用，非常感谢了！

周杰 发表于 2020-4-29 05:41
加油！ 我也是机械达。 不过要是想做SDE的话，ML知识是其次呢，主要还是刷题，题刷好，进Google... 面ML岗 ...

谢谢，与君共勉了..................

BIUBIUBIUBIU 发表于 2020-4-29 07:46
都phd了, 还是CV方向, 就别整什么cs学位都了, 你又不去quit转码 (当然我建议直接转码). 你要是想读下去这个 ...

十分感谢指明方向了，可我尴尬的是二维的CV都还在苦苦挣扎，三维的更不知道了，物理方面老师还是比较精通，我就菜成狗了，之前他说过做3D打印的，后来放弃发文章了，还是以实际项目为主。