Hugging Face ใช้ TensorFlow และ XLA เร่งการสร้างข้อความ บางกรณีเร็วขึ้นกว่า 100 เท่า
หัวข้อต้นฉบับ:Faster Text Generation with TensorFlow and XLA
สรุปโดย AI
Hugging Face ประกาศว่าการสร้างข้อความด้วย TensorFlow ของ 🤗 transformers สามารถเร่งความเร็วได้ผ่านการคอมไพล์ XLA โดยบางกรณีเร็วขึ้นกว่า 100 เท่า และเร็วกว่า PyTorch ในเกณฑ์มาตรฐานส่วนใหญ่ สูงสุดถึง 9 เท่า
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- Hugging Face 社区博客(混合发现)
- หมวดหมู่
- บทแนะนำและเทคนิค
- คะแนน AI
- 61
Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成,给出编译缓存机制、padding 技巧和实测数据,方法可直接复用。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Hugging Face ใช้ TensorFlow และ XLA เร่งการสร้างข้อความ บางกรณีเร็วขึ้นกว่า 100 เท่า 27 กรกฎาคม 2022 https://new.nat6.net/th/news/my2h5oq9ycw1hh3rte2tkol51/