Selbst getestet: unglaubliche Inferenzgeschwindigkeit
Originaltitel:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...
KI-Zusammenfassung
Das Kog-Team hat auf Standard-Rechenzentrums-GPUs extrem hohe Inferenzgeschwindigkeiten für einzelne Nutzer erreicht: 3.000 Tokens/s auf 8× AMD MI300X GPUs und 2.100 Tokens/s auf 8× NVIDIA H200. Im Vergleich zu üblichen Inferenzgeschwindigkeiten von etwa 100–300 Tokens/s entspricht dies einer Steigerung um das 10- bis 30-Fache. Der Kernansatz besteht darin, die LLM-Dekodierung als Speicherstromproblem zu betrachten und durch die gemeinsame Entwicklung eines Monokernels, neu aufgebauter Synchronisationsmechanismen, gezielter Speicherzugriffszuordnung sowie der Laneformer-Modellarchitektur mit verzögertem Tensor-Parallelismus die Engpässe herkömmlicher Abläufe zu beseitigen.
Kernpunkte
- Das Kog-Team hat auf Standard-Rechenzentrums-GPUs extrem hohe Inferenzgeschwindigkeiten für…
- 000 Tokens/s auf 8× AMD MI300X GPUs und 2.
- 100 Tokens/s auf 8× NVIDIA H200.
- Im Vergleich zu üblichen Inferenzgeschwindigkeiten von etwa 100–300 Tokens/s entspricht dies einer…
- Der Kernansatz besteht darin,die LLM-Dekodierung als Speicherstromproblem zu betrachten und durch…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- X:Rohan Paul (@rohanpaul_ai)
- Kategorie
- Meinung
- KI-Bewertung
- 76
Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Selbst getestet: unglaubliche Inferenzgeschwindigkeit. 30. Mai 2026. https://new.nat6.net/de/news/cmpr6nk7c0bf4slnok93x9vov/