论domain knowledge和模型的重要性

相信不少人都听说过domain knowledge的重要性，毫无问题。甚至有人言domain knowledge比模型重要一万倍。我认为it depends.

如果我们精通ML模型，知道什么情况下用什么方法解决问题可以beat其他人，而且很懂业务，这自然值得称赞。但domain knowledge不是技术不专的借口。A方法是解决问题的关键，你说我不care，我懂业务，凉凉。

问题是很多时候鱼和熊掌不可得兼。我们可以拿domain knowledge配合线性模型解决很多基础业务，以及忽悠局外人，但是一到核心/前沿领域必然是看谁懂得广和深了，谁能比别人好出那么一点点了。模型到瓶颈了，就拼feature；feature大家都这么多，又拼新的模型新的算力，甚至新的芯片。懂domain knowledge肯定不至于没用。但还要看到什么程度才能发挥威力。我所了解的是知道皮毛毫无暖用。跟专家聊天也不是偷懒不去解决技术硬核问题的借口。

自称"deep learning expert"或者"精通C++"的人多了去了，如果因为瞧不起他们的说辞就花时间了解旁门左道，不去触碰硬核topic，那就祝好运了。现在这社会缺的是真正的专精和通才：华尔街招精通C++的人做高频交易50万-100万美元年薪，湾区多少DNN大佬的天文数字薪水是否告诉过我们？而domain knowledge了解多少才叫有用呢? 我也考过CFA2级练练手了解金融经验。但是你懂的，即便CFA 3级价值上限也就10万刀（都是入门级知识，干货少，吹牛价值大于赚钱价值），而且就这些还需要2年时间深入了解。真正拿的出手跟别人竞争的，还是硬核实力。 所以，请别把不入流的domain knowledge当做技术不专的借口就行。基金公司里面是精通全局的交易员就那么几个，但精通各自领域的quant researcher相对还是多不少？安身立命也好，养家糊口也罢，还是得找最适合自己的路，然后做得比别人好。

两边观点估计没有什么大的冲突
何必揪住细节又回帖又开新帖讨伐的

ML不ML aside, 做事情要落地，都需要domain knowledge
都是用某些工具去解决对的问题。

好比一个桶子能盛的了水是最短板决定的
不光是ML和domain，还有不少其他板子，比如工程能力（你的实验结果是和kaggle master那样管理清清楚楚，还是另存为_v33, _v34, metric value手工写在spreadsheet里），洗数据和理解数据的能力，domain（理解业务需求能力），勇于在深钻技术和合理速度落地之间做权衡，沟通和说服团队的能力 -- 因为ML这件事比较大的区别就是基本上很难一个人落地 vs. 前十年的东西，比如做个website呀，mobile app啊，是一个人真的能做到的，并且能做到不小的。但是ML的东西从想法到落地需要的人数跟周期都是倍数的。Plus you also need to get the data.

仍然觉得这世界上，好多号称AI/ML的项目，用rule其实也能八九不离十，而且落地速度能 10X faster，维护需要的精力1/100
很多号称DS的项目，excel+ dashboard 也够了。额外花时间instrument log，做ETL，清洗分析数据得到的结论，等拿到的时候也许早已过时，因为大佬们早已下定决心，根本听不进其他意见。

做”非AI不可”的领域才可能会好些，有足够的利润空间来支持复杂的玩法。

普通生活里面普通大小的问题，很多时候简单的工具就足够。没事不是针对楼主，就是自己半夜随便说说。

K姐 发表于 2020/03/25 16:01:31
两边观点估计没有什么大的冲突
何必揪住细节又回帖又开新帖讨伐的

ML不ML aside, 做事情要落地，都需要d...

因topic重要而有的帖子矫枉过正，所以专门开了一贴。我其实不太相信笼统的提木桶效应：

既然谈ML，就得看ML在业务中的位置：如果只是普通分析，毫无疑问，杀鸡不需要牛刀；但也有不少业务需要持续改进或者取得业界领先来吸引注意，这时候需要螺丝钉持续优化能力。


还是，it depends.