教程与技巧

一条命令在HF Jobs上启动vLLM服务器

原文标题:Run a vLLM Server on HF Jobs in One Command

AI 摘要

HuggingFace Jobs 支持一条命令启动 vLLM 服务器,用于测试、评估或批量生成。使用 `hf jobs run` 命令,指定官方 `vllm/vllm-openai` 镜像、GPU flavor(如 `a10g-large`)、暴露端口 8000 并设置超时。服务器启动后可通过 OpenAI 兼容 API 访问,每次请求需携带 HF token 作为 bearer token(仅限有读权限的用户)。示例部署了 Qwen/Qwen3-4B(多 GPU 需 `--tensor-parallel-size`)。`a10g-large` 价格为 $1.50/小时,按分钟计费,可通过 `hf jobs cancel` 停止。

关键信息

  • HuggingFace Jobs 支持一条命令启动 vLLM 服务器,用于测试、评估或批量生成。
  • 使用 `hf jobs run` 命令,指定官方 `vllm/vllm-openai` 镜像、GPU flavor(如 `a10g-large`)、暴露端口 8000 并设置超时。
  • 服务器启动后可通过 OpenAI 兼容 API 访问,每次请求需携带 HF token 作为 bearer token(仅限有读权限的用户)。
  • 示例部署了 Qwen/Qwen3-4B(多 GPU 需 `--tensor-parallel-size`)。
  • `a10g-large` 价格为 $1.

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
教程与技巧
AI 评分
62
阅读原文 前往信息源阅读完整正文
推荐理由

这是一条命令在HF上启动vLLM的完整教程,适合快速测试模型的开发者,但方案完全绑定Hugging Face平台,通用性有限。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:一条命令在HF Jobs上启动vLLM服务器。2026年6月26日。https://new.nat6.net/news/cmqwr2hi6008msliky22llevm/

查看全部 →