Zyphra lanza Zamba, un modelo base de 7B con arquitectura híbrida
Título original:ZAMBA
Resumen de IA
Zyphra publica Zamba, un modelo base de 7B con una arquitectura híbrida que combina bloques Mamba con una capa de atención global que comparte pesos cada 6 capas.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Zyphra Research(网页)
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 61
官方原文给出架构设计、训练规模和开放 checkpoints 细节,读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Zyphra lanza Zamba, un modelo base de 7B con arquitectura híbrida. 16. abril 2024. https://new.nat6.net/es/news/cmtyo1ljj03asrog0h47mq5so/