Subok na sa aktwal: hindi kapani-paniwalang bilis ng inference
Orihinal na pamagat:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...
AI summary
Nakamit ng Kog team ang napakataas na single-user inference speed sa standard data center GPUs, umabot sa 3,000 tokens/s sa 8× AMD MI300X GPUs at 2,100 tokens/s sa 8× NVIDIA H200. Kung ikukumpara sa karaniwang inference speed (humigit-kumulang 100-300 tokens/s), ito ay 10-30 beses na pagtaas. Ang pangunahing ideya ay ituring ang LLM decoding bilang problema sa memory flow, sa pamamagitan ng co-design ng monokernel, muling pagbuo ng synchronization mechanism, targeted memory access mapping, at paggamit ng Laneformer model architecture na may delayed tensor parallelism, inalis ang mga blocking point ng tradisyonal na proseso.
Mahahalagang impormasyon
- Nakamit ng Kog team ang napakataas na single-user inference speed sa standard data center…
- Kung ikukumpara sa karaniwang inference speed (humigit-kumulang 100-300 tokens/s),ito ay 10-30…
- Ang pangunahing ideya ay ituring ang LLM decoding bilang problema sa memory flow,sa pamamagitan ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- X:Rohan Paul (@rohanpaul_ai)
- Kategorya
- Mga Opinyon at Komentaryo
- AI na marka
- 76
Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Subok na sa aktwal: hindi kapani-paniwalang bilis ng inference. 30 Mayo 2026. https://new.nat6.net/fil/news/cmpr6nk7c0bf4slnok93x9vov/