第二,要熟悉数据。做为数据科学家,数据不会自己来找你。从刚入职,就要尽量多的了解数据的种类、如何获取、如何分析,最好都在文档上写下来(很多公司都有wiki文档系统)。平时打基础或者使用前,要多探索数据(exploratory data analysis)的各种分布特点,比如销售数据在各国、各商店、各种人群的数值都要了解,设置可以提前写些分析文档。这个数据基础对于理解真实问题、寻找改进机会、建立合适的模型都会有帮助。很多人错误地认为,现在深度学习的建模使人们不再需要了解数据的特点,简单的把所有数据fit进模型就行了。我们的分析表明,garbage-in garbage-out的原理还是适用的。我曾经见过一个简单的数据操作,比如把同一个样本上互相矛盾的label去掉,就提高了深度学习模型的表现。也见过数据标定过程混乱造成模型混乱的情况,很多人认为数据标定数据清洗是脏活累活,干的都是和“民工”打交道的工作,远不如训练fancy的模型听上去高大上。可事实就是万丈高楼平地起,沙滩上盖不起高台,一定要重视标定数据的质量。.google и
第三,要做end-to-end的项目,得到全方位锻炼。东做一个任务,西做一个任务是无法系统地提高一个人的水平的。我发现对自己成长帮助最大的经历就是把几个实际项目从头到尾完整执行,从构想、分析、建模、优化、工程实现、实验设计到上线、维护。只有经历了几次完整的过程,才能掌握一整套工具和技能,才能知道什么重要什么不重要,才能知道哪里会有陷阱和风险,才会制定合理的计划(对自己或者对团队)。我到现在还记得第一次从一个想法,鏖战许多日夜,历经千辛万苦,最后打开A/B实验,然后看到系统指标提高的感觉,和航天人发射火箭差不多。当然,曾经有的项目失败的教训也刻骨铭心,拥有“踩地雷”的经验也很重要。怎么正确的失败?最好是fail fast,一个想法不对,能够迅速用数据验证“此路不通”是最好的。当然万一论证不周,已经投入很多,最后失败了,也不能“逃跑主义”,能在逆境中行动也是一种重要能力。我认为,打过败仗但没倒下,还能总结经验教训的干部最宝贵。后来在自己带新人的时候,也会有意识给他们创造能完整执行项目的机会,但是自己同时也不能失去了对细节的把握。
. Χ
第四,要重视“战前侦查”(项目前期调研)。很多人拿到一个任务或者项目就开始埋头干活,这是不对的。我们一定要从大的方向想一想这个任务有没有道理,这样做有没有成功的可能。如果想想觉得这个任务没有必要,或者这样做不可能成功(通过估算最大机会),就要大胆否定。大到一个项目,在上马之前一定要尽可能多的科学论证,不仅要看到机会有多大,也要看到隐藏的风险,比如合作的组不靠谱、对外依赖太多、人手不够或者不稳定、客户需求来源不稳定等等。绝不打无把握的仗。之前说的武断设了一个目标,原因就是前期论证不充分。有时候因为事情太多赶进度,忽略了论证,最后发现都做了无用功。. check 1point3acres for more.
Echo 一下LZ的第一点和第五点
1. “真正要做好AI模型和系统是需要做大量的工作,而且很多工作都是繁琐、琐碎和千头万绪的,既无法写在文章里发表,也无法给领导汇报,甚至做完后都会忘记的那种,所以你去读他人的书、文章,甚至当面请教他人,都不一定能知道。但是,如果不勤快地把这些事情做到位,最后的结果就是会不好。”
this is so fxxking true. 一个performance好的Model仅仅是整个project的50% even less,后面的operation,上下游数据的on time/quality/operation占了非常之多,而且都是千里之堤毁于蚁穴。一旦performance不好,customer不会说是某个corner case不好,直接说model不行;这一点是我最近换组KT的时候领悟到的,有非常之多的detail是wiki和white paper都无法概括的;
2. 要迭代,先实现再优化,还要快。
入职第一天老板就强调两点:Deliver Results; if fail,fail fast。