Transformer (ทรานส์ฟอร์เมอร์) คืออะไร?

สถาปัตยกรรมเครือข่ายประสาทที่ใช้กลไก attention ในการประมวลผลภาษาอย่างมีประสิทธิภาพมาก

คำนิยาม

Transformer คือประเภทของสถาปัตยกรรมเครือข่ายประสาทที่ใช้ "attention mechanism" เพื่อประมวลผลข้อมูลลำดับ (เช่น ข้อความ) อย่างมีประสิทธิภาพมาก

วัตถุประสงค์

เพื่อให้ได้ประสิทธิภาพที่ดีกว่าในการสร้างโมเดลภาษา การแปลด้วยเครื่อง การสร้างข้อความ และงาน NLP อื่น ๆ

การทำงาน

ใช้กลไก self-attention เพื่อดูข้อความทุกส่วนพร้อมกันและเข้าใจว่าคำไหนสำคัญต่อกันบ้าง

ตัวอย่าง

โมเดลภาษาหลักทั้งหมด เช่น GPT, BERT, T5 ล้วนอิงบนสถาปัตยกรรม Transformer

เกี่ยวข้อง

  • Attention Mechanism (กลไกการให้ความสนใจ)
  • Self-Attention (การให้ความสนใจตนเอง)
  • BERT (เบิร์ต)
  • GPT (จีพีที)
🍄

想了解更多吗?

如果您想深入了解「Transformer (ทรานส์ฟอร์เมอร์)」——或者为您的团队提供这类培训——欢迎与我交流。我帮助团队理解并应用这些概念,期待您的联系!