无人车自动驾驶技术选择

请教地里的各位，最近想跳槽无人车行业，于是开始琢磨找一个方向开始学习研究，好为找这个领域的工作做一下准备。但是无人车是个系统的大工程，里面有很多子模块和子技术，大致分为perception, planning, control, 于是就卡住了，不知道这三个模块应该选哪个，若问我的兴趣我也不太清楚，没有明确的好恶，论经验只能说本科学的control，硕士做过一些perception的project，planning没怎么接触过。
大家给分析分析如何选择？

无人车行业如果细分领域的话的确可以分得很细，你提到的perception, planning and control算是high-level算法部分的大致分类，此外还有prediction, localization, mapping, navigation, routing等等，更底层还有做传感器算法，嵌入式，以及电子硬件和机械的。另外还有辅助工具比如simulation, infra, 前端等等。

如果对上层算法感兴趣，就像楼上所说首先肯定得学好C++，另外planning和control关系非常密切，可以算做同一个领域，通常如果找这方面工作也得从high-level到low-level都有所了解。

planning and control中相对high-level的部分主要是decision-making（决策）、以及搜索（类似graph search）。Decision-making，也可以叫behavior planning，简单来说就是如何让无人车的行为像人类驾驶员一样聪明且能随机应变，如何有效利用各种input信息，比如地图、相机看到的图像、周围的行人位置信息等等，如何handle uncertainty，比如如果你在过十字路口，但左边车道有大卡车挡住了视线，该怎么办？现实情况无比复杂，所以这部分也非常challenging。Searching往最简单了说，就像是最基本的BFS/DFS的一万种优化和变种，难点在于对常用的算法的理解深度（比如随便问个问题：A*搜索能不能有edge with negative cost, 如果有会怎么样？），以及横向比较，比如如果搜索空间特别大，从起点搜到终点要好几分钟，那么我们的无人车总不能每次搜索都停在原地等几分钟吧，那么此时就不应该用A*，再比如环境是动态的，原来这里有个路，开过来才发现现在修路封掉了，那怎么re-plan。

相对low-level（偏control与数学、物理）的部分一般会涉及各种系统建模、optimization，以及optimal control相关的理论（其实跟reinforcement learning某些程度上来说是同一个东西），比如LQR，或者是MDP，POMDP等等模型。LZ本科学过control应该大概明白这些东西。这些理论放在无人车上来说，举个最简单的例子，已知自己的车子的各项参数（比如质量、轮距、轴距等）以及当前的位置速度加速度，那么如果我们的车子现在需要变道，目标点是左边的车道前方5米处，问题来了：
1. 如何生成一条顺滑的轨迹？
2. 如何保证轨迹是合理、舒适、安全的，比如不能突然以巨大的加速度加速，或者当前车速高的时候不能急打方向盘等等constraint。
3. 生成了轨迹，如何确保车辆真的follow了这条轨迹，因为控制肯定会有误差，如果中间偏了怎么办？
4. 如果车变道到一半，前面车突然停了下来，那么原来的轨迹肯定就不能用了，接下来怎么办？
5. ...

至于Perception……个人感觉现在这块的bar很高，（参考近年CV/ML方向申请人数的数量与质量水涨涨涨涨船高高高高…），不仅要深入地学machine learning和deep learning的知识，geometry-based computer vision的知识，还得会把两者结合，学习python和各种deep learning的框架，比如tensorflow或Pytorch、再把各种模块的pipeline连在一起跑起来，清楚个中每个model和参数的功能和意义、优势和劣势等等。感觉这块如果没什么基础，学到在市场上有竞争力的水平还是挺难的。不过感兴趣也没问题！毕竟CV方向是真的好找工作，应用面比planning and control广多了。

建议lz可以继续深入了解一下每个细分领域解决的问题，再结合个人兴趣或者优势来选择吧。加油！

不管那个方向，先学C++

马斯克不是说了嘛，不管干啥，人家就看C++。。。

很多职位都planning和control同时需要。

如果以前学的各种graph traversal对你来说很简单，planning对你来说也不会难。现在车上用的是some variant of A* or RRT。当然这只是planning的一部分, 还有optimization之类的

perception的技术我觉得最transferable因为很多都是learning based

shashin1011 发表于 2020-5-7 14:43
无人车行业如果细分领域的话的确可以分得很细，你提到的perception, planning and control算是high-level算 ...

谢谢分享，不过不同意的一点事， 无人车的infra和其他互联网公司的infra差别是很大的。

整个一套end to end的distributed ml infra， cloud simulation， deployment and validation, 里面涉及到太多无人车行业所特定的技术。比如sim领域如何做高性能的建模与渲染（这一部分与game比较相似，但是具体的传感器模拟又是一套新的东西）， car fleet收集到海量数据之后如何从里面选出有用的frame进行数据标注（active learning）,   不同的perception网络比如path/object/light Net如何大规模的分布式训练以及模型搜索, 总之从硬件到软件都是需要domain specific的experience

Hacker_steve 发表于 2020/05/07 14:59:40
谢谢分享，不过不同意的一点事， 无人车的infra和其他互联网公司的infra差别是很大的。

整个一套end to...

感谢回复！学习了！因为我不够熟悉这块所以想当然了…编辑一下哈哈哈

同时control的方向，在读研究生，感觉还是CV和ML的找工作更有利一些欸，唉

东门吹灯 发表于 2020-5-8 05:32
为何要进无人车行业？
我正想往外跳，我决定做互联网比无人车稳

稳是稳 但是互联网已经不剩啥可做的了