做生信分析时有时候要安装很多软件,软件之间的版本依赖关系复杂,这时候就需要用到Conda来安装软件。我一年前下载的conda,最近感觉安装软件越来越慢了,有试过一段时间的mamba(一个快速、强大、跨平台的包管理器),但是某个版本开始不兼容我已有的conda,会报错,我也没有仔细去解决。就一直在忍受着conda的慢。。。
终于在前几天,在安装测试几个大型pipeline时受不了了,准备整理一下自己的环境,想试试最新的mamba。结果发现conda在去年十月份有一个重大更新,在这个 23.10.0 版本中,将 conda 的默认求解器更改为 conda-libmamba-solver
!
以前的“经典”求解器基于 pycosat/Picosat,并且在可预见的将来仍将是 conda 的一部分,并且可以使用后备方案。
conda 更新日志:https://docs.conda.io/projects/conda/en/stable/release-notes.html
conda慢就慢在计算环境中包之间的依赖关系,那换成mamba求解器,岂不是快很多而且不破坏原有的环境?(我不喜欢有个conda目录又一个mamba目录,两者的config也不太一样),赶紧试试:
|
|
亲身体验,更新后的conda在solve environment这一步快了非常多,几分钟左右(之前可能花上几个小时😭,因为我的一些环境已经安装了不少软件)。
下面是conda的一些相关介绍:
Introduction
![](images/conda.png)
Conda是一个开源的包管理和环境管理工具,主要用于数据科学和机器学习领域。它允许轻松地创建、安装、管理和切换不同版本的软件包和依赖项,以及创建和管理不同的虚拟环境。Conda最常用于Python环境,但也可用于其他编程语言的环境管理。(conda, mamba, python 都是蛇🐍的名字)
以下是一些与Conda相关的基本概念和用法:
-
环境(Environment): 在Conda中,环境是一个独立的工作区,其中包含特定版本的软件包和其依赖项。可以创建多个环境,每个环境可以有不同的软件包配置,以满足不同项目的需求。
-
软件包(Package): 软件包是在Conda环境中安装的软件组件,可以包括Python库、工具和其他程序。Conda具有大量的预构建软件包,也支持创建自定义软件包。
-
频道(Channel): Conda软件包通常存储在称为"频道"的仓库中。默认情况下,Conda会从Anaconda仓库下载软件包,但也可以添加其他频道(镜像源,保证网络通畅),以获取更多软件包。
基础使用:
-
安装Conda: 首先,需要安装Conda。可以选择安装Anaconda或Miniconda,它们是Conda的不同发行版。Anaconda包含大量的预安装软件包,而Miniconda只包含Conda本身和一些基本工具,允许自定义环境,服务器上的话上从miniconda上手就行。
1 2 3
# 使用Miniconda安装 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh
-
创建环境: 使用Conda可以轻松地创建新环境,例如:
1
conda create --name myenv python=3.8
这将创建一个名为
myenv
的新环境,并在其中安装Python 3.8。 -
激活环境: 要进入或激活一个环境,可以使用以下命令:
1
conda activate myenv
激活环境后,将在其中运行软件包和Python。
-
安装软件包: 使用Conda可以安装所需的软件包,例如:
1
conda install numpy
这将在当前激活的环境中安装NumPy。
-
管理环境: 可以列出已创建的环境、复制环境、删除环境等,以管理的工作环境。
1 2 3 4 5 6
$ conda info -e #导出环境 conda env export > environment.yml #删除环境 conda remove --name myenv --all
-
卸载软件包: 如果不再需要某个软件包,可以使用以下命令卸载:
1
conda remove numpy
pip安装的包最好用pip来卸载,conda卸载也需要处理依赖关系,好慢的。
我的浅薄理解:conda关键在把不同的软件放在不同文件夹下,切换环境时更新环境变量,让某些版本优先使用。
所以有些不太依赖环境的软件可以直接用绝对路径使用,不需要激活环境:
|
|
有时候也可以通过软链接给某个环境“安装”软件。注意首先要清楚自己的环境以及该软件的性质,有的软件会有相对路径的依赖,简单的把bin文件移过去是不行的:
|
|
我觉得不能太过于依赖conda,自己必须也要有一定的安装软件和管理环境能力,才可以更好地面对未来各种环境问题😂。
现在好多软件都要求新建一个环境安装,做着做着就有好多个环境了,但可能大部分通用包是冗余的,硬盘占用也大。有时候自己观察某个软件的本体和依赖项,说不定大部分依赖项我们已经装过了(我喜欢把目标类似的软件放一起,一般他们的依赖项也比较一致),我们可以手动处理。
这里有一个简单的python脚本,用于将所有Conda环境中安装的包整理成表格,方便查看:
|
|
一些问题
- shell脚本中切换环境
常用的conda activate
切换conda环境的方法只能在命令行中使用,放在脚本中会报错,该如何解决呢?
必须要先在脚本里source ~/conda.sh
,shell脚本里source一次就行,就可以切换多次了
|
|
- 安装速度慢怎么办?
可以使用国内镜像源:
|
|
- 为什么不建议将所有内容安装到base环境中?
随着时间的推移,Python 打包系统很容易出现不兼容性;在一个 conda 环境中安装的包越多,依赖关系图就越复杂,这使得默认的基本环境在每次安装另一个包时容易出现问题和损坏。
因此,强烈建议为每个项目/目的使用单独的 conda 环境,以减轻 Python 打包系统的依赖关系管理问题,并使项目依赖关系尽可能独立和简单。