Terbukti lewat pengujian: kecepatan penalaran yang luar biasa
Judul asli:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...
Ringkasan AI
Tim Kog mencapai kecepatan penalaran pengguna tunggal yang sangat tinggi pada GPU pusat data standar, mencapai 3.000 tokens/s pada 8× GPU AMD MI300X dan 2.100 tokens/s pada 8× NVIDIA H200. Dibandingkan kecepatan penalaran biasa (sekitar 100-300 tokens/s), ini merupakan peningkatan 10-30 kali lipat. Ide intinya adalah memandang decoding LLM sebagai masalah aliran memori, melalui desain bersama monokernel, mekanisme sinkronisasi yang dibangun ulang, pemetaan akses memori yang ditargetkan, serta arsitektur model Laneformer dengan paralelisme tensor tertunda, sehingga menghilangkan titik penghambat dalam alur tradisional.
Poin utama
- Tim Kog mencapai kecepatan penalaran pengguna tunggal yang sangat tinggi pada GPU pusat data…
- 000 tokens/s pada 8× GPU AMD MI300X dan 2.
- 100 tokens/s pada 8× NVIDIA H200.
- Dibandingkan kecepatan penalaran biasa (sekitar 100-300 tokens/s),ini merupakan peningkatan 10-30…
- Ide intinya adalah memandang decoding LLM sebagai masalah aliran memori,melalui desain bersama…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- X:Rohan Paul (@rohanpaul_ai)
- Kategori
- Opini & Komentar
- Skor AI
- 76
Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Terbukti lewat pengujian: kecepatan penalaran yang luar biasa. 30 Mei 2026. https://new.nat6.net/id/news/cmpr6nk7c0bf4slnok93x9vov/