Tutorial & Tips

Jalankan server vLLM di HF Jobs dengan satu perintah

Judul asli:Run a vLLM Server on HF Jobs in One Command

Ringkasan AI

HuggingFace Jobs mendukung peluncuran server vLLM dengan satu perintah untuk pengujian, evaluasi, atau generasi batch. Gunakan perintah `hf jobs run`, tentukan image resmi `vllm/vllm-openai`, flavor GPU (seperti `a10g-large`), buka port 8000, dan atur timeout. Setelah server berjalan, akses melalui API yang kompatibel dengan OpenAI; setiap permintaan harus menyertakan token HF sebagai bearer token (hanya untuk pengguna dengan izin baca). Contoh menggunakan Qwen/Qwen3-4B (multi-GPU memerlukan `--tensor-parallel-size`). Harga `a10g-large` adalah $1,50/jam, ditagih per menit, dan dapat dihentikan dengan `hf jobs cancel`.

Poin utama

  • HuggingFace Jobs mendukung peluncuran server vLLM dengan satu perintah untuk…
  • Gunakan perintah `hf jobs run`,tentukan image resmi `vllm/vllm-openai`,flavor GPU (seperti…
  • Setelah server berjalan,akses melalui API yang kompatibel dengan OpenAI
  • setiap permintaan harus menyertakan token HF sebagai bearer token (hanya untuk pengguna dengan…
  • Contoh menggunakan Qwen/Qwen3-4B (multi-GPU memerlukan `--tensor-parallel-size`).

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial & Tips
Skor AI
62
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

这是一条命令在HF上启动vLLM的完整教程,适合快速测试模型的开发者,但方案完全绑定Hugging Face平台,通用性有限。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Jalankan server vLLM di HF Jobs dengan satu perintah. 26 Juni 2026. https://new.nat6.net/id/news/cmqwr2hi6008msliky22llevm/

Lihat semua →