一条命令在HF Jobs上启动vLLM服务器
原文标题:Run a vLLM Server on HF Jobs in One Command
AI 摘要
HuggingFace Jobs 支持一条命令启动 vLLM 服务器,用于测试、评估或批量生成。使用 `hf jobs run` 命令,指定官方 `vllm/vllm-openai` 镜像、GPU flavor(如 `a10g-large`)、暴露端口 8000 并设置超时。服务器启动后可通过 OpenAI 兼容 API 访问,每次请求需携带 HF token 作为 bearer token(仅限有读权限的用户)。示例部署了 Qwen/Qwen3-4B(多 GPU 需 `--tensor-parallel-size`)。`a10g-large` 价格为 $1.50/小时,按分钟计费,可通过 `hf jobs cancel` 停止。
关键信息
- HuggingFace Jobs 支持一条命令启动 vLLM 服务器,用于测试、评估或批量生成。
- 使用 `hf jobs run` 命令,指定官方 `vllm/vllm-openai` 镜像、GPU flavor(如 `a10g-large`)、暴露端口 8000 并设置超时。
- 服务器启动后可通过 OpenAI 兼容 API 访问,每次请求需携带 HF token 作为 bearer token(仅限有读权限的用户)。
- 示例部署了 Qwen/Qwen3-4B(多 GPU 需 `--tensor-parallel-size`)。
- `a10g-large` 价格为 $1.
速览
- 发布时间
- 更新时间
- 分类
- 教程与技巧
- AI 评分
- 62
推荐理由
这是一条命令在HF上启动vLLM的完整教程,适合快速测试模型的开发者,但方案完全绑定Hugging Face平台,通用性有限。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:一条命令在HF Jobs上启动vLLM服务器。2026年6月26日。https://new.nat6.net/news/cmqwr2hi6008msliky22llevm/