Opini & Komentar

Terbukti lewat pengujian: kecepatan penalaran yang luar biasa

Judul asli:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...

Ringkasan AI

Tim Kog mencapai kecepatan penalaran pengguna tunggal yang sangat tinggi pada GPU pusat data standar, mencapai 3.000 tokens/s pada 8× GPU AMD MI300X dan 2.100 tokens/s pada 8× NVIDIA H200. Dibandingkan kecepatan penalaran biasa (sekitar 100-300 tokens/s), ini merupakan peningkatan 10-30 kali lipat. Ide intinya adalah memandang decoding LLM sebagai masalah aliran memori, melalui desain bersama monokernel, mekanisme sinkronisasi yang dibangun ulang, pemetaan akses memori yang ditargetkan, serta arsitektur model Laneformer dengan paralelisme tensor tertunda, sehingga menghilangkan titik penghambat dalam alur tradisional.

Poin utama

  • Tim Kog mencapai kecepatan penalaran pengguna tunggal yang sangat tinggi pada GPU pusat data…
  • 000 tokens/s pada 8× GPU AMD MI300X dan 2.
  • 100 tokens/s pada 8× NVIDIA H200.
  • Dibandingkan kecepatan penalaran biasa (sekitar 100-300 tokens/s),ini merupakan peningkatan 10-30…
  • Ide intinya adalah memandang decoding LLM sebagai masalah aliran memori,melalui desain bersama…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
X:Rohan Paul (@rohanpaul_ai)
Kategori
Opini & Komentar
Skor AI
76
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Terbukti lewat pengujian: kecepatan penalaran yang luar biasa. 30 Mei 2026. https://new.nat6.net/id/news/cmpr6nk7c0bf4slnok93x9vov/

Lihat semua →