Mga Opinyon at Komentaryo

Subok na sa aktwal: hindi kapani-paniwalang bilis ng inference

Orihinal na pamagat:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...

AI summary

Nakamit ng Kog team ang napakataas na single-user inference speed sa standard data center GPUs, umabot sa 3,000 tokens/s sa 8× AMD MI300X GPUs at 2,100 tokens/s sa 8× NVIDIA H200. Kung ikukumpara sa karaniwang inference speed (humigit-kumulang 100-300 tokens/s), ito ay 10-30 beses na pagtaas. Ang pangunahing ideya ay ituring ang LLM decoding bilang problema sa memory flow, sa pamamagitan ng co-design ng monokernel, muling pagbuo ng synchronization mechanism, targeted memory access mapping, at paggamit ng Laneformer model architecture na may delayed tensor parallelism, inalis ang mga blocking point ng tradisyonal na proseso.

Mahahalagang impormasyon

  • Nakamit ng Kog team ang napakataas na single-user inference speed sa standard data center…
  • Kung ikukumpara sa karaniwang inference speed (humigit-kumulang 100-300 tokens/s),ito ay 10-30…
  • Ang pangunahing ideya ay ituring ang LLM decoding bilang problema sa memory flow,sa pamamagitan ng…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
X:Rohan Paul (@rohanpaul_ai)
Kategorya
Mga Opinyon at Komentaryo
AI na marka
76
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Subok na sa aktwal: hindi kapani-paniwalang bilis ng inference. 30 Mayo 2026. https://new.nat6.net/fil/news/cmpr6nk7c0bf4slnok93x9vov/

Tingnan lahat →