Torch

cuda

2022-12-20

[[torch]] 中用于处理 CUDA 的函数。

方法

  • torch.cuda.is_available(): 检查 CUDA 是否可用
  • torch.cuda.device_count(): 返回可用的 GPU 数量
  • torch.cuda.get_device_name(device_id): 返回指定 GPU 的名称
  • torch.cuda.set_device(device_id): 设置当前设备

报错

RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the ‘spawn’ start method

在主程序入口,加上: torch.multiprocessing.set_start_method('spawn', force=True)

这里主程序是值服务最开始执行的地方,比如 [[Sanic]] 是在 server.py 中。