Bagaimana terjemahan manga AI bekerja?
Lima langkah penerjemah manga AI: menemukan balon kata, membaca teks, menerjemahkan, menghapus tulisan, menyusun teks. Dan tempat tiap langkah gagal.
Terjemahan manga AI bekerja dalam lima langkah: menemukan balon kata dan teksnya, membaca teks dengan OCR, menerjemahkannya, menghapus tulisan asli lalu membangun ulang gambar di bawahnya, dan terakhir menyusun terjemahan kembali ke dalam balon. Tiap langkah adalah model atau program tersendiri, dan yang paling lemah menentukan seberapa bagus halaman akhirnya.
Langkah 1: Menemukan balon kata dan teks
Tugas pertama adalah menemukan letak tulisan. Model deteksi memeriksa halaman dan menggambar kotak atau garis tepi di sekeliling setiap blok teks: balon kata, kotak narasi, keterangan, dan kadang tulisan yang langsung berada di atas gambar. Menemukan balon sama pentingnya dengan menemukan katanya, karena balon adalah ruang yang nanti harus memuat terjemahan.
Itulah sebabnya scan yang bersih dan besar sangat membantu. Tulisan yang pudar, kecil, atau miring mudah terlewat, dan blok teks yang tidak pernah ditemukan tidak akan pernah diterjemahkan.
Langkah 2: Membaca teks dengan OCR
OCR (pengenalan karakter optik) mengubah piksel di dalam setiap kotak menjadi karakter yang bisa diolah komputer. Manga lebih sulit daripada halaman cetak biasa. Bahasa Jepang sering ditulis vertikal, kana kecil bernama furigana berdiri di samping kanji, fontnya bergaya, dan latarnya bisa berupa screentone, bukan putih polos. Bahasa Korea dan Tionghoa membawa masalahnya sendiri, seperti karakter mirip yang hanya dibedakan oleh satu goresan tipis.
Jika OCR salah membaca satu karakter, mesin terjemahan akan dengan patuh menerjemahkan kata yang salah. Banyak hasil yang tampak seperti terjemahan buruk sebenarnya adalah pembacaan yang buruk.
Langkah 3: Menerjemahkan teks
Teks yang sudah dikenali dikirim ke mesin terjemahan otomatis. Mesin itu hanya melihat teks, bukan gambar, sehingga tidak tahu siapa yang berbicara atau apa yang ada di halaman kecuali program meneruskannya. Langkah inilah yang biasanya dimaksud orang ketika menyebut terjemahan AI, padahal hanya satu dari lima. Slang, lelucon, sapaan kehormatan, dan seruan pendek adalah titik terlemah terjemahan mesin.
Langkah 4: Menghapus tulisan asli
Sebelum teks baru dimasukkan, teks lama harus dikeluarkan. Cara paling sederhana adalah menutup balon dengan kotak putih. Itu berhasil di balon putih polos dan terlihat janggal di tempat lain. Cara yang lebih baik adalah inpainting: model mengisi area yang dihapus dengan melanjutkan pola di sekitarnya, sehingga screentone, gradasi, dan garis latar kembali, bukan meninggalkan lubang.
Langkah 5: Menyusun terjemahan
Menyusun teks (typesetting) berarti menempatkan kata-kata terjemahan di dalam balon dengan ukuran yang terbaca, dibungkus menjadi baris yang pas dengan bentuknya. Terjemahan biasanya lebih panjang daripada aslinya yang berbahasa Jepang, sehingga program memperkecil teks sampai muat, dan harus menghindari memotong kata di tempat yang janggal. Balon tinggi dan sempit yang dibuat untuk bahasa Jepang vertikal adalah kasus tersulit untuk teks mendatar.
Cara RuneManga melakukannya saat ini
- Teks ditemukan dan dibaca di setiap halaman. Bahasa Jepang memakai pembaca yang dibuat khusus untuk manga. Bahasa Korea dan Tionghoa didukung, dan pengenalannya masih terus ditingkatkan.
- Terjemahan dikerjakan RuneLingua, penerjemah AI kami sendiri yang dibuat untuk dialog manga dan manhwa.
- Tulisan asli dihapus dan latar di bawahnya diisi, lalu terjemahan dipasang di balon yang sama.
- Hanya teks yang ditemukan di halaman yang dikirim ke penyedia terjemahan, bukan gambarnya.
Di mana masih gagal
- Teks di luar balon kata, seperti kotak narasi dan tulisan lepas di atas gambar, belum diterjemahkan.
- Efek suara digambar menyatu dengan ilustrasi dan belum diterjemahkan.
- Tulisan vertikal, font bergaya, dan teks yang sangat kecil atau buram adalah kasus tersulit untuk dibaca.
- Terjemahan yang sangat panjang di balon yang sangat kecil tampil kecil, karena teksnya diperkecil agar muat.
RuneManga masih beta, dan terjemahan mesin bisa mengandung kesalahan. Anggap halaman hasil terjemahan sebagai alat bantu membaca, bukan rilis resmi.
Pertanyaan
Apakah terjemahan manga AI sama dengan Google Terjemahan?
Tidak. Google Terjemahan hanya menangani langkah 3, pilihan katanya. Penerjemah manga juga harus menemukan teks, membacanya, menghapusnya, dan menyusun terjemahan kembali ke balon. RuneManga memakai penerjemah AI-nya sendiri, RuneLingua, untuk pilihan katanya.
Mengapa AI kadang salah menerjemahkan satu baris?
Entah teksnya salah dibaca di langkah 2, atau mesinnya kekurangan konteks di langkah 3. Gambar yang lebih besar dan bersih mengatasi penyebab pertama. Yang kedua adalah batas terjemahan mesin.
Apakah AI melihat seluruh halaman saya?
Langkah deteksi dan penghapusan membutuhkan gambar halaman, jadi keduanya berjalan di server RuneManga sendiri. Hanya teks hasil ekstraksi yang dikirim ke penyedia terjemahan.
Bisakah halaman berwarna diterjemahkan?
Bisa. Terjemahkan hanya mengubah teks, sehingga halaman manhwa berwarna tetap berwarna.