🎯 เป้าหมาย
- แยกการประเมินอัตโนมัติกับการประเมินโดยมนุษย์
- อธิบาย hallucination และวิธีลดความเสี่ยง
- ออกแบบเกณฑ์ตรวจคำตอบในงานเรียน
1. ทำไมต้องประเมิน
โมเดลที่ดูคล่องอาจผิดในรายละเอียดสำคัญ การประเมินช่วยตัดสินว่าพร้อมใช้ในบริบทใด
2. มิติที่มักวัด
- ความถูกต้องของข้อเท็จจริง
- การทำตามคำสั่ง (instruction following)
- ความเป็นพิษ/อคติของภาษา
- ความเสถียรเมื่อถามซ้ำหรือเปลี่ยนถ้อยคำเล็กน้อย
ตัวอย่าง Hallucination
คำถาม: ปีที่นักวิทยาศาสตร์สมมติชื่อ "ดร.สมมติ ใจดี" ได้รับรางวัลโนเบลคือปีใด?
คำตอบที่เสี่ยง: โมเดลอาจแต่งปีและรายละเอียดให้ดูน่าเชื่อ ทั้งที่บุคคลนี้ไม่มีอยู่ — นี่คือ hallucination
แนวป้องกัน: สั่งให้ตอบเฉพาะเมื่อมีหลักฐาน หรือให้ระบุ "ไม่ทราบ" เมื่อไม่มั่นใจ · ตรวจจากแหล่งภายนอก
แนวป้องกัน: สั่งให้ตอบเฉพาะเมื่อมีหลักฐาน หรือให้ระบุ "ไม่ทราบ" เมื่อไม่มั่นใจ · ตรวจจากแหล่งภายนอก
ความคล่องของภาษา ≠ ความถูกต้องของข้อเท็จจริง
เกณฑ์ตรวจงานนักเรียนที่ใช้ AI: (1) มีแหล่งอ้างอิงที่เปิดได้ (2) อธิบายด้วยคำพูดตนเองได้ (3) ระบุส่วนที่ AI ช่วย (4) ไม่มีข้อมูลส่วนตัวผู้อื่นโดยไม่ได้รับอนุญาต
อ้างอิง: แนวปฏิบัติประเมิน LLM · อภิปรายความน่าเชื่อถือในเอกสาร AI literacy
กิจกรรม: ตั้งคำถาม 3 ข้อที่ข้อเท็จจริงตรวจได้ (เช่น เมืองหลวง ปีเหตุการณ์) ลองกับเครื่องมือ AI แล้วบันทึกว่าถูก/ผิด/คลุมเครือ
✅ สรุป
- ประเมินหลายมิติ ไม่ดูแค่ความคล่อง
- Hallucination ต้องจัดการด้วยกระบวนการ ไม่ใช่ความเชื่อใจอย่างเดียว
- มนุษย์ยังเป็นผู้ตัดสินในงานสำคัญ
📝 แบบฝึกหัดท้ายบท (5 ข้อ)
1. Hallucination คืออะไร?
2. ความคล่องของภาษาบอกอะไร?
3. มิติใดควรประเมินในระบบตอบคำถาม?
4. วิธีลดความเสี่ยง hallucination ในงานเรียน?
5. ใครควรเป็นผู้ตัดสินสุดท้ายในงานกระทบสิทธิ?