历史数据产生变化

请问各位，我想做一个类似时间序列的模型，预测销售之类的。但是由于疫情原因，2020年3月后的销量数据和以往相比产生了很大变动。如此预测2021年估计效果应该不会好，这种情况应该怎么处理啊？谢谢啦

现在的工作正好是这个相关的modeling, 也是对销量预测，关注一波看大家怎么讨论。

My two cents:
1. 楼上已经有同学提到了用一些exogenous features比如sp500， 我之前也有考虑过，还有比如失业率，industry index, traffic volume等等
2. 加疫情variable，好像可以，但是不是很general，以后疫情结束了就没用了
3. 用scaling可以一定程度上减少这些outlier对结果的影响
4. 适当调节lookback period的长度，增加model update的频率
5. 用贝叶斯的思想来建模，return a distribution instead of an estimation
6. 我最近在用seq2seq的框架，很多idea可以从NLP那块借鉴，还是挺有意思的
7. 还有个脑洞是用reinforcemence learning，之前看过论文用RL来做SPY trading，那是否可以用RL来做allocation？这点完全是在空想，没有时间实验和研究哈哈

很难做长期预测了，整个3-7月的数据都很难看，这已经不是outlier的问题了，只能做短期预测，比如下个月，下周这样，长期的seasonality很难捕捉到了

如果是要给宏观层面的时间序列数据建模，可以考虑outlier smoothing，或是structural break：level shift 或是 trend change。但这两种办法都要求很强的假设，还有就是疫情之后的数据点还很少。

另一种方法就是引入外生变量，比如covid case trend，google mobility trend，social distancing measures。如果要在此基础上做预测，就需要对外生变量做预测，或是生成一些可能情景，对这些外生变量的的趋势做qualitative的描述，在反过来看这些情景下你感兴趣的目标变量怎么变化。

再有就是看微观数据，但这个方法在数据收集和处理方面都更麻烦一些。

各种方法都有利弊，最终还是要看你想要解决的具体问题吧。个人感受是covid让预测更难了；毕竟所有的predictive model都是driving while looking into the rear mirror。

平滑这种outlier。或者set 一个outlier 的flag标出这些数据

难道2021会很好吗😂

1. 你可以考虑引入exogenous variables，比如一些宏观变量GDP/Stock index之类的，又或者你们行业专有的数据；
2. 如果怀疑是因为疫情引起的，那你需要找到历史上跟这次疫情类似的阶段的数据（比较困难），或者需要做一些major assumption, 比如如果你是doordash，你可能需要assume有多少percent的人会永久WFH之类的。

当然，以上的方法都需要forecast independent variable本身， 非常challenge。有时候短期的效果还是可以使用的，长期的（比如一年以上）就能就直接revert to historical mean了。

对所有三月份及之后数据加一个dummy variable代表疫情影响 （这一条相对应exogeneious variable那一条回复

补充内容 (2021-1-25 08:18):
exogenous，我大概率拼错了...

补充内容 (2021-1-25 08:21):
3-7月不是outlier，更可能是shock完之后一直有影响，愚以为dummy variable更佳，但是这也看你context，如果销售数据相对独立就可以当outlier扔掉了用往年同月数据来预测

TurkishCoffee 发表于 2021-1-25 08:17
对所有三月份及之后数据加一个dummy variable代表疫情影响 （这一条相对应exogeneious variable那一条回复
...

用dummy也是常用的方法，不过我感觉这次疫情应该不是one time deal, 可能会对一些行业产生深远的影响，如果是这样，用dummy可能不是最好的选择，几乎就是要做一个新的model了

dazeze122222 发表于 2021-1-25 07:25
平滑这种outlier。或者set 一个outlier 的flag标出这些数据

嗯，能大概说说怎么平滑outlier吗？不是很清楚...

uniwander 发表于 2021-1-25 08:15
1. 你可以考虑引入exogenous variables，比如一些宏观变量GDP/Stock index之类的，又或者你们行业专有的数 ...

谢谢，觉得这个exogenous variable可以一试

uniwander 发表于 2021-01-24 16:47:01
用dummy也是常用的方法，不过我感觉这次疫情应该不是one time deal, 可能会对一些行业产生深远的影响，如果是这样，用dummy可能不是最好的选择，几乎就是要做一个新的model了

我感觉吧你的回答偏structural model，有很多assumptions，确实是对的而且是一个比较高级的方法而且可以得到更多的insights。如果lz就想搞个简单的prediction不想深入把context细节model进去的话，感觉dummy+time trend就够用了。主要还是没有context也不知道lz目标，想做的复杂度等等

补充内容 (2021-1-25 09:53):
看lz回复lz是想做复杂的，那也没我什么事啦~时间序列不是我的专长，我就看到了你说的exogenous variable立马想到了diff in diff来看shock的影响程度所以扔了句dummy variables