🎯 เป้าหมาย
- อธิบายระบบมัลติโมดอลเบื้องต้น
- เข้าใจแนวคิดเอเจนต์ที่ใช้เครื่องมือ
- ระบุจุดเสี่ยงเมื่อระบบทำงานหลายขั้นตอน
1. มัลติโมดอล
ระบบรับหรือสร้างได้หลายชนิดข้อมูล เช่น ข้อความ+ภาพ+เสียง ใช้ในคำอธิบายภาพ การค้นหาด้วยรูป หรือการออกแบบ
ตัวอย่าง: อัปโหลดรูปวงจรไฟฟ้าแล้วถามว่าขาดองค์ประกอบใด · สร้างภาพประกอบจากคำบรรยาย · อ่านข้อความในภาพ (OCR + ความเข้าใจ)
2. เอเจนต์และ Tool use
เอเจนต์วางแผนแล้วเรียกเครื่องมือภายนอก (ค้นเว็บ คำนวณ รันโค้ด) แล้วประกอบคำตอบ ความผิดพลาดอาจเกิดทั้งจากโมเดลและจากเครื่องมือ
คำสั่งผู้ใช้
→
วางแผน
→
เรียกเครื่องมือ
→
สรุปผล
จุดเสี่ยงของเอเจนต์
ตัวอย่าง: เอเจนต์ค้นเว็บแล้วสรุปข่าวผิด เพราะแหล่งไม่น่าเชื่อถือ หรืออ่านตารางผิด — ผู้ใช้เห็นแค่คำตอบสุดท้ายจึงควรตรวจสอบขั้นตอนเมื่องานสำคัญ
ยิ่งระบบทำหลายขั้นอัตโนมัติ ยิ่งต้องออกแบบการตรวจสอบและสิทธิ์การเข้าถึงเครื่องมือ
อ้างอิง: อภิปราย multimodal และ agents ในเอกสาร AI สมัยใหม่ระดับแนะนำ
กิจกรรม: ออกแบบเอเจนต์สมมติ “ช่วยติวสอบ” ระบุเครื่องมือ 3 อย่างที่ควรมี และ 2 อย่างที่ไม่ควรให้สิทธิ์อัตโนมัติ
✅ สรุป
- มัลติโมดอลรวมหลายชนิดข้อมูล
- เอเจนต์เรียกเครื่องมือได้ แต่ผิดพลาดซ้อนได้
- ต้องจำกัดสิทธิ์และตรวจสอบเมื่อความเสี่ยงสูง
📝 แบบฝึกหัดท้ายบท (5 ข้อ)
1. ระบบมัลติโมดอลคืออะไร?
2. Tool use ในเอเจนต์หมายถึงอะไร?
3. ความเสี่ยงของเอเจนต์หลายขั้นตอนคืออะไร?
4. เมื่องานสำคัญควรทำอย่างไรกับผลเอเจนต์?
5. ทำไมต้องจำกัดสิทธิ์เครื่องมือของเอเจนต์?