Triton

 

2024-02-01

部署

通过 Docker 部署：

Terminal window
1
docker pull nvcr.io/nvidia/tensorrt:21.10-py3

一定要注意和驱动版本之间的关系，比如通过 nvidia-smi 查看的版本是 470，则对应的 TensorRT 最新版本是 21.10。具体可通过 :: 查看。

另外如果需要调用 GPU，除了安装 nvidia-smi 之外，还需要安装 nvidia-container-toolkit，下面以 Ubuntu 为例：

Terminal window
1
# 配置存储库
2
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
3
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
4
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
5
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
6


7
# 更新包信息并安装 NVIDIA Container Toolkit 软件包
8
sudo apt-get update
9
sudo apt-get install -y nvidia-container-toolkit

如果无法通过线上安装，可在 NVIDIA/libnvidia-container 分别下载下面四个包按顺序进行安装：

  1. libnvidia-container
  2. libnvidia-container-tools
  3. nvidia-container-toolkit-base
  4. nvidia-container-toolkit

最后安装完成后不要忘记重启 Docker：

Terminal window
1
sudo systemctl restart docker

参考

# Nvidia
# 推理
# Docker
# AI