🎯 เป้าหมาย
- อธิบายแนวคิด attention และ token ในระดับมัธยมปลาย
- เข้าใจ context window และข้อจำกัดความยาว
- เชื่อมกับพฤติกรรมของแชตบอทที่ใช้อยู่
1. ข้อความถูกตัดเป็น Token
โมเดลภาษาไม่ได้เห็น “ตัวอักษรไทยทีละตัว” แบบคนเสมอไป ข้อความถูกแบ่งเป็นหน่วยย่อยเรียก token (คำ ส่วนของคำ หรือสัญลักษณ์) แล้วแปลงเป็นเวกเตอร์ตัวเลข
2. Attention — ให้น้ำหนักส่วนที่เกี่ยวข้อง
กลไก attention ช่วยให้โมเดลให้ความสำคัญกับส่วนต่าง ๆ ของลำดับอินพุตเมื่อคำนวณตัวแทนของแต่ละตำแหน่ง เป็นหัวใจของสถาปัตยกรรม Transformer ที่ใช้ใน LLM สมัยใหม่หลายตระกูล
3. Context Window
โมเดลรับอินพุตได้จำกัดความยาว (context window) หากบทสนทนาหรือเอกสารยาวเกิน ข้อมูลต้นอาจถูกตัดหรือสรุป — อธิบายได้ว่าทำไมบอทบางครั้ง “ลืม” สิ่งที่พูดไปตอนต้น
กิจกรรม: เปิดแชตบอทที่ใช้อยู่ ถามเรื่องยาวแล้วอ้างอิงรายละเอียดตอนต้น บันทึกว่ามันจำได้หรือเพี้ยนอย่างไร แล้วอภิปรายเชื่อมกับ context window
✅ สรุป
- Token = หน่วยข้อความที่โมเดลประมวลผล
- Attention ให้น้ำหนักส่วนที่เกี่ยวข้องในลำดับ
- Context window จำกัดความยาว — มีผลต่อคุณภาพคำตอบ
📝 แบบฝึกหัดท้ายบท (5 ข้อ)
1. Token ในโมเดลภาษาคืออะไร?
2. Attention ช่วยอะไรใน Transformer?
3. Context window คืออะไร?
4. ทำไมบอทอาจ 'ลืม' รายละเอียดตอนต้นบทสนทนา?
5. การใส่ข้อมูลสำคัญใกล้คำถามช่วยอะไร?