LESSON 03 / 08 · มัธยมศึกษาปีที่ 1–3

ข้อมูล ฟีเจอร์ และการประเมินโมเดล

Train / Validation / Test · Overfitting · Metrics

🎯 เป้าหมาย

  • อธิบายบทบาทของ Train, Validation และ Test set
  • นิยาม Overfitting และ Underfitting ด้วยตัวอย่าง
  • อธิบายว่าทำไม accuracy อย่างเดียวอาจไม่พอ

1. ข้อมูลคือเชื้อเพลิง — แต่ต้องจัดการให้ถูก

โมเดลไม่ได้ “รู้” อะไรเอง การเรียนรู้เกิดจากการปรับพารามิเตอร์ให้สอดคล้องกับตัวอย่าง หากข้อมูลผิด ลำเอียง หรือรั่วไหลจากอนาคต ผลประเมินจะหลอกลวง

ตัวอย่าง Data leakage: สมมติทำนายว่านักเรียนจะสอบผ่าน โดยเอา “คะแนนสอบจริง” ไปรวมเป็นฟีเจอร์ตอนฝึก โมเดลจะดูเก่งมากบนกระดาษ แต่ใช้ไม่ได้ในชีวิตจริงเพราะตอนทำนายล่วงหน้ายังไม่มีคะแนนนั้น

2. การแบ่งข้อมูลสามชุด

  • Training set — ใช้ปรับน้ำหนัก/พารามิเตอร์
  • Validation set — ใช้เลือกสมมติฐานและไฮเปอร์พารามิเตอร์ระหว่างพัฒนา
  • Test set — ประเมินครั้งสุดท้าย ห้ามใช้ไปปรับโมเดลซ้ำ
ถ้าเอา test set ไปฝึกซ้ำ ตัวเลขความแม่นยำจะสูงเกินจริง (optimistic bias)

3. Overfitting และ Underfitting

Overfitting: จำรายละเอียดในชุดฝึก รวมถึง噪声 จนทำกับข้อมูลใหม่ไม่ได้ดี
Underfitting: โมเดลง่ายเกินไป จับสัญญาณสำคัญไม่ได้ทั้งบนชุดฝึกและชุดใหม่

ตัวอย่าง Overfitting: โมเดลจำได้ว่าในชุดฝึก “นักเรียนที่นั่งแถวหน้าทุกคนผ่าน” แล้วใช้กฎนี้ทำนาย ทั้งที่ที่นั่งไม่เกี่ยวกับความสามารถจริง
ตัวอย่าง Underfitting: ใช้เส้นตรงทำนายความสัมพันธ์ที่จริง ๆ เป็นเส้นโค้งซับซ้อน ผลลัพธ์คลาดเคลื่อนทั้งตอนฝึกและตอนทดสอบ

4. Metrics — เลือกให้ตรงงาน

เมื่อคลาสไม่สมดุล (เช่น โรคหายาก 1%) โมเดลที่ทายว่า “ไม่มีโรค” เสมอจะมี accuracy สูงแต่ไร้ประโยชน์ อาจต้องดู precision, recall หรือต้นทุนของ false positive / false negative ตามบริบท

ตัวอย่าง: ระบบเตือนฉ้อโกง — การพลาดเคสจริง (false negative) อาจเสียหายหนัก การเตือนผิด (false positive) ก่อความรำคาญ ต้องสมดุลตามนโยบายธุรกิจและความเป็นธรรม
อ้างอิง: แนวปฏิบัติประเมินโมเดลในเอกสาร ML ศึกษา · EU AI literacy materials เรื่องการประเมินที่รับผิดชอบ

กิจกรรม: สมมติงาน “ตรวจจับการทุจริตสอบออนไลน์” ระบุว่า false positive และ false negative แต่ละแบบส่งผลอย่างไร แล้วเลือก metric ที่ควรให้ความสำคัญพร้อมเหตุผล

✅ สรุป

  • แยก Train / Val / Test อย่างเคร่งครัด
  • Overfitting = จำชุดฝึกมากไป · Underfitting = ง่ายเกิน
  • เลือก metric ให้สอดคล้องเป้าหมายและความเสี่ยงของงาน

📝 แบบฝึกหัดท้ายบท (5 ข้อ)

1. Test set ใช้เพื่ออะไร?

2. Overfitting คืออะไร?

3. Data leakage มักทำให้เกิดอะไร?

4. เมื่อคลาสไม่สมดุลควรระวังอะไร?

5. Validation set ช่วยอะไร?

← บทก่อนบทถัดไป → รายการบทเรียน