#vLLM

2026-03-30

通过 vLLM 为 NVIDIA DGX Spark 部署 Qwen3.5-122B 模型

记录在 NVIDIA DGX Spark 中使用 [[vLLM]] 部署 [[Qwen3.5]] 大模型时的环境配置和在国内网络下的资源下载，以防忘记。

2026-03-22

LiteLLM

LiteLLM 是一款开源的大模型代理服务器（AI 网关），可以提供统一的接口调用所有支持 OpenAI 的大模型服务，并带有一个管理界面，支持负载均衡、密钥管理和日志记录等功能。

# AI

2026-03-23

vLLM

vLLM 是一个开源的，专注于大模型的推理和部署服务框架，无缝集成 [[HuggingFace]]，而且兼容 [[OpenAI API]] 格式接口。