Artículos e investigación

AWS propone el método priming para convertir Transformers preentrenados en arquitecturas híbridas de espacio de estados

Título original:Can we change an AI model’s architecture without retraining it from scratch?

Resumen de IA

El equipo de AWS publica el artículo «Priming: Hybrid state space models from pre-trained Transformers», que propone el método priming para reutilizar los pesos de un Transformer preentrenado y construir una arquitectura híbrida, lo que reduce el coste de preentrenamiento en más del 99 % y consume en todo el proceso menos del 0,5 % del presupuesto de tokens del modelo original.

Puntos clave

  • El equipo de AWS publica el artículo «Priming: Hybrid state space models from pre-trained…
  • que propone el método priming para reutilizar los pesos de un Transformer preentrenado y construir…
  • lo que reduce el coste de preentrenamiento en más del 99 % y consume en todo el proceso menos del…

Resumen rápido

Publicado
Actualizado
Fuente
Amazon Science(RSS)
Categoría
Artículos e investigación
Tema
Ecosistema de código abierto
Puntuación IA
61
Leer el original Leer el artículo completo en la fuente original
Por qué importa

AWS 团队提出 priming 方法,把预训练 Transformer 改造成混合架构的预训练成本降低逾 99%,并开源了 8B 和 32B 模型与代码。

Temas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: AWS propone el método priming para convertir Transformers preentrenados en arquitecturas híbridas de espacio de estados. 13. octubre 2026. https://new.nat6.net/es/news/w2408fxlrc7tc7nt3ivrzh9ys/

Ver todo →