Jalankan server vLLM di HF Jobs dengan satu perintah
Judul asli:Run a vLLM Server on HF Jobs in One Command
Ringkasan AI
HuggingFace Jobs mendukung peluncuran server vLLM dengan satu perintah untuk pengujian, evaluasi, atau generasi batch. Gunakan perintah `hf jobs run`, tentukan image resmi `vllm/vllm-openai`, flavor GPU (seperti `a10g-large`), buka port 8000, dan atur timeout. Setelah server berjalan, akses melalui API yang kompatibel dengan OpenAI; setiap permintaan harus menyertakan token HF sebagai bearer token (hanya untuk pengguna dengan izin baca). Contoh menggunakan Qwen/Qwen3-4B (multi-GPU memerlukan `--tensor-parallel-size`). Harga `a10g-large` adalah $1,50/jam, ditagih per menit, dan dapat dihentikan dengan `hf jobs cancel`.
Poin utama
- HuggingFace Jobs mendukung peluncuran server vLLM dengan satu perintah untuk…
- Gunakan perintah `hf jobs run`,tentukan image resmi `vllm/vllm-openai`,flavor GPU (seperti…
- Setelah server berjalan,akses melalui API yang kompatibel dengan OpenAI
- setiap permintaan harus menyertakan token HF sebagai bearer token (hanya untuk pengguna dengan…
- Contoh menggunakan Qwen/Qwen3-4B (multi-GPU memerlukan `--tensor-parallel-size`).
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Tutorial & Tips
- Skor AI
- 62
这是一条命令在HF上启动vLLM的完整教程,适合快速测试模型的开发者,但方案完全绑定Hugging Face平台,通用性有限。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Jalankan server vLLM di HF Jobs dengan satu perintah. 26 Juni 2026. https://new.nat6.net/id/news/cmqwr2hi6008msliky22llevm/