在fund做爬虫 感觉绝望 求建议

目前在纽约一家fund做爬虫，具体做的事情就是爬虫，然后存数据，分析数据然后交给PM用来投资。
一开始来的时候感觉还是很不错的，感觉能学到点东西。但是最近感觉越来越差。

主要原因还是爬虫的本质，即使能够爬到所有的数据，分析也没问题，但是很多时候出来的结果就是和财报或者预期或者YoY不一致。这个时候PM就会认为你做的有问题，即使做的完全OK，挫败感很强。
其次是写的代码不管再好，经常会因为网站或者app的改变而break，这个时候就得重新返工。这个时候感觉很frustrated因为实在学不到新的东西。
感觉自己的爬虫的技术上其实也没有那么强，加上公司比较小，感觉压力很大，活很多，基本上全靠自己。如果自己努努力，其实可以把爬虫这方面做的更好，但是我越来越不确定这个东西对我今后的成长是不是有用的。

可能在这里以后的upside会更大一点，但是downside也很差，就是浪费时间，然后再找工作的时候，也找不到合适的职位。
再加上今年的bonus不是很高，可能老板本来就没打算给太多的bonus。现在感觉心情很差。
一开始来这里主要还是因为自己没找到其他的工作，后来也就做下去了，一开始给的base我现在想想其实就是很lowball，但还是接了。我感觉老板对这个职位的期望也就是这样。

最近这2周一直在刷题，之前有持续的刷过2次。每次大约刷了300道。所以现在lc总题数在700左右。目前的打算就是每天坚持刷3-5题，然后申请工作，准备面试。

感觉自己对工作认识不太清楚，应该早点认清现象。请大家有建议的提建议，想喷的求轻喷🙏。

单纯靠爬虫得到的信息来分析，结果和财报或者预期不一致很正常啊.  爬虫信息只是input之一，而财报结果是众多因素导致，本身就不是1v1的线形关系，想去强行拟合的逻辑本身就有问题。通常来说前一段是engineer的活，负责爬虫本身的准确性，数据的完整性，是否干净，各个网站和突发情况的兼容性。后一段是analytics的活，quant要参考爬虫数据和其它数据一起，才能做合理预测。你老板用最终财报预测准确率甚至RO I来评判你爬虫工作的performance就离谱了.  还是看你定位. 如果你只是想做个安静的工程师，当个执行者，老板说什么你就做什么，那建议闪人。要是你更有抱负，不是定位工程师，而是PM发展方向，那就是结果导向，你自己要主动站在老板角度寻找原因，提出建议，索要资源，弥补从爬虫到最终预测准确率之间的断层。

楼主你想的很清楚了，长期不愿意自己买数据的公司是没前途的，赶紧刷题走人吧。

金融数据就是你从data vendor那里买的都有这样那样的问题更不要说自己爬的了， 用这样的数据投资不太专业把，问题完全不在楼主。

加油

感谢大家的建议。

我觉得可能我说的有点太“夸张”了。其他我感觉老板人还不错的，但是毕竟不是tech出身，他的想法就是不太一样。他不是很能理解我工作的难处。有些爬虫看起来很容易，但是操作起来很难。但是他想的就是“别人有了，那我也得有才行”。我觉得是很典型的PM的想法。他有这个想法，让我去实施，但是我做不出来，感觉很不爽，没有成就感。比如做出了一个东西，就又害怕这个会不会过几天又break了，又得再花时间。

我们其实有买很多数据，没有那么抠，但是有些数据买不到或者很贵。这些就是自己去研究和maintain。就是我本身不是很喜欢爬虫的工作，感觉现在做这个不是很确定以后的出路是什么。在岗学习全靠自己，而且事情太多，感觉压力太大。而且这个数据本上就是很不稳定，有时候好有时候坏。不好的时候，他让我去fix，但是本身并没有任何问题，跟好的时候整个过程是一样的。他不能理解为啥现在数据又不对了。而且因为我们想要cover的股票太多，每个爬虫没法做到特别精，感觉每天就是修修补补，很难专心的去做一个项目。

我觉得其实在fund upside还是不错的，但是付出的精力要比一般行业大的多，我感觉爬虫比fund里面我们的analyst付出的精力更多，虽然有些时候工作时间没那么长。而且就是学的东西太多太杂，很多时候全靠自己去explore去试，老板很难带你。当然portfolio方面的老板可以带你。我还是想去一个地方就是感觉有一个比较clear的方向去努力，公司support比较多的这样。

你自己想得很明白了，开始面试就是了

只能说这个老板太naive，连数据都不舍得买，这种公司真的没什么意思

听你这描述感觉比著名血汗工厂wq还惨，没有转portfolio management的机会就赶紧跳吧

不愿意买数据的公司……

如果一份工作是让你写爬虫 已经可以pass了

只干这个确实过于dirty work，时间久了也学不到啥，支持刷题跑路。