安装教程

安装教程#

AngelSlim支持如下安装方式：

pip安装（推荐）#

默认安装（LLM）#

通过pip安装最新AngelSlim稳定发布版：

pip install angelslim

如果已经安装AngelSlim，通过下面的指令强制获取最新更新：

pip install --upgrade --force-reinstall --no-cache-dir angelslim

投机采样安装#

pip install angelslim[speculative]

多模态安装#

pip install angelslim[multimodal]

Diffusion安装#

pip install angelslim[diffusion]

全部安装#

pip install angelslim[all]

备注

  • 如果pip安装失败，请检查联网是否正确，并更新pip：pip install --upgrade pip

  • CUDA工具包: 可以参考CUDA Toolkit 安装文档安装所需要的版本；

  • 与CUDA驱动程序的PyTorch版本：AngelSlim正确运行需要torch>=2.4.1，可以根据安装的 CUDA 驱动程序版本安装对应的PyTorch 最新版本，或者所需要的其他 PyTorch 版本。

编译安装#

如果对工具代码做过改动，或者想使用main分支最新功能，推荐使用编译安装方式：

cd AngelSlim
python setup.py install

指定环境变量#

如果对源码做了修改，更简易的方式是指定PYTHONPATH环境变量，例如：

export PYTHONPATH=Your/Path/to/AngelSlim/:$PYTHONPATH

备注

指定环境变量后，需要和执行压缩算法的脚本在同一终端执行，比如放在同一个shell脚本内，先export PYTHONPATH环境变量，然后运行压缩程序代码。

目录