Opinion

Testé et vérifié : une vitesse de raisonnement incroyable

Titre original:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...

Résumé IA

L'équipe Kog a atteint une vitesse de raisonnement par utilisateur extrêmement élevée sur des GPU de centre de données standard, avec 3 000 tokens/s sur 8 GPU AMD MI300X et 2 100 tokens/s sur 8 NVIDIA H200, soit une amélioration de 10 à 30 fois par rapport aux vitesses habituelles (environ 100 à 300 tokens/s). L'idée centrale consiste à traiter le décodage LLM comme un problème de flux mémoire, en co-concevant un monokernel, en reconstruisant les mécanismes de synchronisation, en ciblant le mappage des accès mémoire et en adoptant l'architecture de modèle Laneformer avec parallélisme tensoriel différé, afin d'éliminer les points de blocage des processus traditionnels.

Points clés

  • L'équipe Kog a atteint une vitesse de raisonnement par utilisateur extrêmement élevée sur des GPU…
  • L'idée centrale consiste à traiter le décodage LLM comme un problème de flux mémoire,en…
  • afin d'éliminer les points de blocage des processus traditionnels.

En bref

Publié
Mis à jour
Source
X:Rohan Paul (@rohanpaul_ai)
Catégorie
Opinion
Score IA
76
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Testé et vérifié : une vitesse de raisonnement incroyable. 30. mai 2026. https://new.nat6.net/fr/news/cmpr6nk7c0bf4slnok93x9vov/

Tout voir →