อื่น ๆ

การตัดคำใน Transformers v5: ง่ายขึ้น ชัดเจนขึ้น และเป็นโมดูลมากขึ้น

หัวข้อต้นฉบับ:Tokenization in Transformers v5: Simpler, Clearer, and More Modular

สรุปโดย AI

Transformers v5 เปิดตัวสถาปัตยกรรมการประมวลผลการตัดคำใหม่ทั้งหมด การเปลี่ยนแปลงหลักคือการนำการออกแบบ API ที่ง่ายขึ้นและเป็นหนึ่งเดียวมาใช้ แยก tokenizer ตัวประมวลผลหลัง และตัวถอดรหัสออกเป็นโมดูล เวอร์ชันใหม่ลบโค้ดที่ตกค้างจำนวนมาก ทำให้ขนาดโค้ดเบสลดลงประมาณ 40% และเพิ่มความยืดหยุ่นในการประมวลผลข้อความยาวและโทเคนพิเศษอย่างมีนัยสำคัญ การปรับปรุงนี้มีเป้าหมายเพื่อลดอุปสรรคสำหรับนักพัฒนา พร้อมมอบการสนับสนุนการตัดคำที่มีประสิทธิภาพและสอดคล้องกันมากขึ้นสำหรับโมเดลภาษาขนาดใหญ่ต่างๆ (เช่น GPT, Claude, LLaMA)

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
อื่น ๆ
คะแนน AI
73
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

Transformers库tokenization模块重构,开发者可更高效处理文本数据。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: การตัดคำใน Transformers v5: ง่ายขึ้น ชัดเจนขึ้น และเป็นโมดูลมากขึ้น 18 ธันวาคม 2025 https://new.nat6.net/th/news/cmoegbhak00a1slxxrimmhnqr/

ดูทั้งหมด →