บทแนะนำและเทคนิค

Hugging Face ใช้ TensorFlow และ XLA เร่งการสร้างข้อความ บางกรณีเร็วขึ้นกว่า 100 เท่า

หัวข้อต้นฉบับ:Faster Text Generation with TensorFlow and XLA

สรุปโดย AI

Hugging Face ประกาศว่าการสร้างข้อความด้วย TensorFlow ของ 🤗 transformers สามารถเร่งความเร็วได้ผ่านการคอมไพล์ XLA โดยบางกรณีเร็วขึ้นกว่า 100 เท่า และเร็วกว่า PyTorch ในเกณฑ์มาตรฐานส่วนใหญ่ สูงสุดถึง 9 เท่า

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
61
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成,给出编译缓存机制、padding 技巧和实测数据,方法可直接复用。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Hugging Face ใช้ TensorFlow และ XLA เร่งการสร้างข้อความ บางกรณีเร็วขึ้นกว่า 100 เท่า 27 กรกฎาคม 2022 https://new.nat6.net/th/news/my2h5oq9ycw1hh3rte2tkol51/

ดูทั้งหมด →