AI แปลมังงะทำงานอย่างไร
ห้าขั้นตอนเบื้องหลังตัวแปลมังงะด้วย AI: หาบอลลูน อ่านข้อความ แปล ลบตัวอักษรเดิม และจัดวางคำแปล พร้อมจุดที่แต่ละขั้นตอนพลาดได้
การแปลมังงะด้วย AI มีห้าขั้นตอน: หาบอลลูนคำพูดและข้อความ อ่านข้อความด้วย OCR แปล ลบตัวอักษรเดิมแล้วสร้างภาพด้านล่างขึ้นใหม่ และจัดวางคำแปลกลับเข้าไปในบอลลูน แต่ละขั้นตอนเป็นโมเดลหรือโปรแกรมแยกกัน และขั้นตอนที่อ่อนที่สุดจะเป็นตัวกำหนดว่าหน้าที่เสร็จแล้วออกมาดีแค่ไหน
ขั้นตอนที่ 1: หาบอลลูนคำพูดและข้อความ
งานแรกคือหาว่าตัวอักษรอยู่ตรงไหน โมเดลตรวจจับจะดูทั้งหน้าแล้ววาดกรอบหรือเส้นขอบรอบข้อความแต่ละก้อน ไม่ว่าจะเป็นบอลลูนคำพูด กล่องบรรยาย คำบรรยายภาพ และบางครั้งก็รวมถึงตัวอักษรที่เขียนทับบนภาพโดยตรง การหาบอลลูนให้เจอสำคัญพอๆ กับการหาตัวอักษร เพราะบอลลูนคือพื้นที่ที่คำแปลต้องถูกใส่เข้าไปในภายหลัง
ขั้นตอนนี้คือเหตุผลที่สแกนใหญ่และคมชัดช่วยได้มาก ตัวอักษรที่จางมาก เล็กมาก หรือเอียงจะถูกมองข้ามได้ง่าย และข้อความที่ไม่เคยถูกพบก็จะไม่ถูกแปล
ขั้นตอนที่ 2: อ่านข้อความด้วย OCR
OCR (การจดจำตัวอักษรด้วยแสง) เปลี่ยนพิกเซลภายในแต่ละกรอบให้เป็นตัวอักษรที่คอมพิวเตอร์จัดการได้ มังงะยากกว่าหน้ากระดาษพิมพ์ ภาษาญี่ปุ่นมักเขียนแนวตั้ง มีคานะตัวเล็กที่เรียกว่าฟุริงานะวางอยู่ข้างคันจิ ฟอนต์มีลวดลายเฉพาะ และพื้นหลังอาจเป็นสกรีนโทนแทนที่จะเป็นสีขาวเรียบ ภาษาเกาหลีและภาษาจีนก็มีปัญหาของตัวเอง เช่น ตัวอักษรหน้าตาคล้ายกันที่ต่างกันแค่เส้นบางๆ เส้นเดียว
ถ้า OCR อ่านตัวอักษรผิด เอนจินแปลก็จะแปลคำที่ผิดนั้นอย่างซื่อสัตย์ ผลลัพธ์จำนวนมากที่ดูเหมือนแปลไม่ดี จริงๆ แล้วคืออ่านไม่ถูก
ขั้นตอนที่ 3: แปลข้อความ
ข้อความที่จดจำได้จะถูกส่งไปยังเอนจินแปลด้วยเครื่อง เอนจินเห็นแค่ข้อความ ไม่เห็นภาพ จึงไม่รู้ว่าใครเป็นคนพูดหรือในหน้ามีอะไรอยู่ เว้นแต่โปรแกรมจะส่งข้อมูลนั้นไปด้วย ขั้นตอนนี้คือสิ่งที่คนมักหมายถึงเวลาพูดถึงการแปลด้วย AI แต่มันเป็นเพียงหนึ่งในห้าขั้นตอน คำสแลง มุกตลก คำยกย่อง และคำอุทานสั้นๆ คือจุดที่การแปลด้วยเครื่องอ่อนที่สุด
ขั้นตอนที่ 4: ลบตัวอักษรเดิม
ก่อนจะใส่ข้อความใหม่ได้ ต้องเอาข้อความเก่าออกก่อน วิธีง่ายที่สุดคือวาดกล่องสีขาวทับบอลลูน ซึ่งใช้ได้ในบอลลูนสีขาวเรียบ และดูแปลกในที่อื่นทั้งหมด วิธีที่ดีกว่าคืออินเพนต์ติ้ง (inpainting) คือโมเดลเติมพื้นที่ที่ลบไปโดยต่อลวดลายรอบๆ ให้ต่อเนื่อง สกรีนโทน ไล่เฉดสี และเส้นพื้นหลังจึงกลับมา แทนที่จะเหลือเป็นรู
ขั้นตอนที่ 5: จัดวางคำแปล
การจัดวางคำแปลคือการวางคำที่แปลแล้วลงในบอลลูนด้วยขนาดที่อ่านง่าย และตัดบรรทัดให้พอดีกับรูปทรง ภาษาอังกฤษมักยาวกว่าภาษาญี่ปุ่น โปรแกรมจึงต้องย่อข้อความลงจนพอดี และต้องหลีกเลี่ยงการตัดคำในจุดที่แปลก บอลลูนสูงและแคบที่วาดไว้สำหรับภาษาญี่ปุ่นแนวตั้งคือกรณีที่ยากที่สุดสำหรับภาษาอังกฤษแนวนอน
RuneManga ทำอย่างไรในตอนนี้
- หาและอ่านข้อความในแต่ละหน้า ภาษาญี่ปุ่นใช้ตัวอ่านที่สร้างมาเพื่อมังงะ ส่วนภาษาเกาหลีและจีนรองรับแล้วและยังพัฒนาการจดจำอยู่
- การแปลใช้ RuneLingua ตัวแปล AI ของเราเองที่สร้างมาสำหรับบทพูดในมังงะและมังฮวา
- ลบตัวอักษรเดิมและเติมพื้นหลังด้านใต้ แล้ววางคำแปลในบอลลูนเดิม
- ส่งไปยังผู้ให้บริการแปลเฉพาะข้อความที่พบในหน้า ไม่ส่งภาพ
จุดที่ยังพลาดอยู่
- ข้อความนอกบอลลูนคำพูด เช่น กล่องบรรยายและข้อความที่เขียนลอยอยู่บนภาพ ยังไม่ถูกแปล
- เสียงประกอบวาดอยู่ในภาพและยังไม่ถูกแปล
- ตัวอักษรแนวตั้ง ฟอนต์ตกแต่ง และตัวอักษรที่เล็กมากหรือเบลอ เป็นกรณีที่อ่านยากที่สุด
- คำแปลที่ยาวมากในบอลลูนที่เล็กมากจะออกมาเล็ก เพราะข้อความถูกย่อให้พอดี
RuneManga อยู่ในช่วงเบต้า และการแปลด้วยเครื่องอาจมีข้อผิดพลาด ควรใช้หน้าที่แปลแล้วเป็นตัวช่วยในการอ่าน ไม่ใช่ฉบับอย่างเป็นทางการ
คำถามที่พบบ่อย
การแปลมังงะด้วย AI เหมือนกับ Google แปลภาษาไหม?
ไม่ใช่ Google แปลภาษาทำเฉพาะขั้นตอนที่ 3 คือเรื่องถ้อยคำ ตัวแปลมังงะยังต้องหาข้อความ อ่าน ลบ และใส่คำแปลกลับในบอลลูนด้วย RuneManga ใช้ตัวแปล AI ของตัวเอง คือ RuneLingua สำหรับถ้อยคำ
ทำไม AI ถึงแปลบางบรรทัดผิด?
อาจเป็นเพราะอ่านข้อความผิดในขั้นตอนที่ 2 หรือเอนจินขาดบริบทในขั้นตอนที่ 3 ภาพที่ใหญ่และคมชัดกว่าช่วยแก้สาเหตุแรกได้ ส่วนสาเหตุที่สองเป็นข้อจำกัดของการแปลด้วยเครื่อง
AI เห็นทั้งหน้าของฉันไหม?
ขั้นตอนตรวจหาและลบข้อความต้องใช้ภาพของหน้า จึงทำงานบนเซิร์ฟเวอร์ของ RuneManga เอง ส่งไปยังผู้ให้บริการแปลเฉพาะข้อความที่ดึงออกมา
แปลหน้าสีได้ไหม?
ได้ โหมดแปลเปลี่ยนเฉพาะข้อความ หน้ามังฮวาสีจึงคงสีเดิมไว้