Opinión

Probado para creer: una velocidad de razonamiento increíble

Título original:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...

Resumen de IA

El equipo de Kog logró velocidades de inferencia por usuario extremadamente altas en GPU estándar de centro de datos: 3.000 tokens/s en 8 GPU AMD MI300X y 2.100 tokens/s en 8 NVIDIA H200. Frente a las velocidades de inferencia habituales (unos 100-300 tokens/s), supone una mejora de 10 a 30 veces. La idea central es tratar la decodificación del LLM como un problema de flujo de memoria y, mediante el codiseño de un monokernel, la reconstrucción de los mecanismos de sincronización, un mapeo específico de acceso a memoria y la arquitectura de modelo Laneformer con paralelismo tensorial diferido, eliminar los cuellos de botella del proceso tradicional.

Puntos clave

  • El equipo de Kog logró velocidades de inferencia por usuario extremadamente altas en GPU estándar…
  • 000 tokens/s en 8 GPU AMD MI300X y 2.
  • 100 tokens/s en 8 NVIDIA H200.
  • Frente a las velocidades de inferencia habituales (unos 100-300 tokens/s),supone una mejora de 10…
  • La idea central es tratar la decodificación del LLM como un problema de flujo de memoria…

Resumen rápido

Publicado
Actualizado
Fuente
X:Rohan Paul (@rohanpaul_ai)
Categoría
Opinión
Puntuación IA
76
Leer el original Leer el artículo completo en la fuente original
Por qué importa

Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Probado para creer: una velocidad de razonamiento increíble. 30. mayo 2026. https://new.nat6.net/es/news/cmpr6nk7c0bf4slnok93x9vov/

Ver todo →