Pandas DataFrame + Autocomplete 爆内存

大家在支持autocomplete的IDE上或者jupyter notebook上用pandas的DataFrame的时候，有遇到过内存爆掉的情况吗？

我在pycharm和jupyter notebook上用pandas的DataFrame，每次代码提示功能被trigger的时候，内存就会暴涨（突然爆增3-4倍），稍微大点的dataset (load之后占3-4g内存) 内存就会爆掉。google上好像也有遇到类似状况的，但并没有找到解决方案。
难道是autocomplete会memory leak？

我看VS Code的开发人员的说法是，靠静态分析非常难，要么分析不全要么爆内存，但是Jupyter这种用Python写出来的（真的假的）编辑器可以直接访问到ipython的context，所以会好一些。

嗯。。。 个人理解就是你很难用pandas 处理和分析比较大的数据。原理来说就是你个人电脑的ram和python的性能限制让你的内存占用极大并且无法完整处理数据。 我记得python 有一个package叫dask可以load大的文件。或者用chuncksize去限制每次处理的数据。
最暴力的方法就是用Spark。

chenwang9527 发表于 2020-5-11 03:54
嗯。。。 个人理解就是你很难用pandas 处理和分析比较大的数据。原理来说就是你个人电脑的ram和python的性 ...

说的有道理，感觉可以先用Spark做preprocessing和feature engineering，然后再上模型。
最近学了点spark，感觉他们家的api设置的很清晰，比pandas用户体验好。