关于Anaconda和Virtual Environment

关于Anaconda和Virtual Environment

不知道这个东西有没有人说过，比较干货，今天突然想到了就简单说一下。

Anaconda算是一个python data science的大工具箱吧，什么都有，特别适合data science 初级选手学习pandas，学习numpy，学习基本python语法，学习matplotlib 作图，甚至可以run下sklearn里面的toy examples。

如果你是一个data science中级选手，我assume你此时此刻已经create 一个 folder准备开始 或者正在work on一个data science project，

那我建议你可以把anaconda删掉，删干净。

先安转原生的python。

https://www.python.org/downloads/

然后在这个folder下面安装一个Virtual Environment(虚拟环境)，激活这个Virtual Environment，再放入你的项目的其他folders，比如notebooks，test，src什么的。

具体怎么做可以参考这个文档：
https://docs.python-guide.org/dev/virtualenvs/

我这里给个例子：
mkdir test_project
cd test_project/
virtualenv test_project_venv
source test_project_venv/bin/activate

然后就可以开工了。你的project需要的任何package，都在这个virtual environment下面安装。当然把project push到github上面的时候，别忘了生成一个requirements.txt，包含需要的package和package版本号，这样你要在别的服务器run 这个project或者人家要run你的project就很方便了。



为什么这么做，因为Anaconda虽然什么东西都有，但是要命的是他会修改环境变量，并且给你globally安装一大堆packages。

如果你在公司需要做一个新项目，很可能你得把别人的repo clone下来，但是anaconda修改的东西和安装的东西很可能会和这个repo 里的东西 conflict。我之前就遇到因为装了anaconda，公司的repo 在我local里build的时候不停fail。折腾了半天把Anaconda删干净，然后装了个原生的python后，公司的repo在我local build的时候才成功。

搞一个Virtual Environments的好处，在Python的文档里面说的很清楚了，归根到底是因为Python这个dependency问题是个非常奇葩的东西

https://packaging.python.org/tut ... irtual-environments

"""
Python “Virtual Environments” allow Python packages to be installed in an isolated location for a particular application, rather than being installed globally. If you are looking to safely install global command line tools, see Installing stand alone command line tools.

Imagine you have an application that needs version 1 of LibFoo, but another application requires version 2. How can you use both these applications? If you install everything into /usr/lib/python3.6/site-packages (or whatever your platform’s standard location is), it’s easy to end up in a situation where you unintentionally upgrade an application that shouldn’t be upgraded.

Or more generally, what if you want to install an application and leave it be? If an application works, any change in its libraries or the versions of those libraries can break the application.

Also, what if you can’t install packages into the global site-packages directory? For instance, on a shared host.

In all these cases, virtual environments can help you. They have their own installation directories and they don’t share libraries with other virtual environments.
"""

我个人目前感觉唯一需要全局安装的package是pip，不过似乎现在你一旦生成一个virtual environment他都默认给你装了。

当然Homebrew YYDS，装机必备，这个不多说了。

创建virtual environment 的tool除了virtualenv

还有:
1. Python3 自带的venv

2. pipenv
https://pipenv.pypa.io/en/latest/

3. poetry
https://python-poetry.org/docs/managing-environments/

好像2和3现在开始时髦了起来，有兴趣的可以自己钻研下。

.


补充内容 (2021-09-05 07:58 +8:00):
刚才我同学提到Conda，遗漏了不好意思，大家也可以试一下用这个创建virtual environment。

因为我们Team里面DS要做很多MLE的活，要写Production Code，而且要和Dev Team的SDE closely work together，我们Team的 DS的 project development的环境也是他们搭的。
他们并不care about Anaconda和Conda。

我其实就是说一下工业界做DS项目的一种practice吧，上学的时候无所谓，大家看自己喜好。

想提醒下conda本身也支持environment管理 ^_^

打回去重写！

https://stackoverflow.com/questi ... need-for-virtualenv

conda管理一些ffi binary package比pip方便，当然最好还是每个项目build一个docker image……现在databricks之类的环境对docker的支持都很好用

chersquare 发表于 2021-9-4 06:57
想提醒下conda本身也支持environment管理 ^_^

这个我知道，不过Anaconda和Conda还是两回事。

https://stackoverflow.com/questi ... 20package%20manager,dependencies%2C%20not%20those%20listed%20above.

是的 对新手来说abaconda很好用什么包都给你安好 jupyter notebook即开即用 但是稍微有些需求的人就会发现anaconda太繁琐反而不好用
话说有人知道pyenv怎么和anaconda一起用吗？

已经有人说了，anaconda非常方便，conda的话可以管理环境，即便base也可以默认关闭，没看到virtualenv有任何的优势。一般都是sde才喜欢用virtualenv。

CH3COOH 发表于 2021-9-4 15:45
已经有人说了，anaconda非常方便，conda的话可以管理环境，即便base也可以默认关闭，没看到virtualenv有任 ...

I See，如果你这样也说得通。

因为我们Team里面DS要做很多MLE的活，要写Production Code，而且要和Dev Team的SDE closely work together，我们Team的 DS的 project development的环境也是他们搭的。
他们并不care about Anaconda和Conda。

我其实就是说一下工业界做DS项目的一种practice吧，上学的时候无所谓，大家看自己喜好。

原生的调安装包不一样麻烦，没觉得这是anaconda的缺点，正要纠结建议上docker