Yapay zekâ manga çevirisi nasıl çalışır?
Yapay zekâlı bir manga çevirmeninin beş adımı: balonları bul, yazıyı oku, çevir, orijinal yazıyı sil ve çeviriyi yerleştir. Her adımın hata noktaları.
Yapay zekâyla manga çevirisi beş adımda çalışır: konuşma balonlarını ve yazıları bulur, yazıyı OCR ile okur, çevirir, orijinal yazıyı silip altındaki çizimi yeniden kurar, sonra çeviriyi balonun içine yerleştirir. Her adım ayrı bir model ya da programdır ve bitmiş sayfanın kalitesini en zayıf halka belirler.
1. adım: Konuşma balonlarını ve yazıları bulma
İlk iş, yazıların nerede olduğunu bulmaktır. Bir algılama modeli sayfaya bakar ve her yazı bloğunun çevresine bir kutu ya da kontur çizer: konuşma balonları, anlatım kutuları, alt yazılar ve bazen doğrudan çizimin üstüne yazılmış metinler. Balonu bulmak, kelimeleri bulmak kadar önemlidir, çünkü balon çevirinin daha sonra sığması gereken alandır.
Temiz ve büyük bir taramanın bu kadar işe yaramasının nedeni budur. Soluk, çok küçük ya da eğik yazılar kolayca gözden kaçar ve hiç bulunmayan bir yazı hiç çevrilmez.
2. adım: Yazıyı OCR ile okuma
OCR (optik karakter tanıma), her kutunun içindeki pikselleri bilgisayarın işleyebileceği karakterlere dönüştürür. Manga, basılı bir sayfadan daha zordur. Japonca çoğu zaman dikey yazılır, kanjinin yanında furigana denen küçük kana harfleri bulunur, yazı tipleri stilize olur ve arka plan düz beyaz yerine ekran tonu (screentone) olabilir. Korece ve Çince'nin de kendi sorunları vardır; örneğin yalnızca ince bir çizgiyle ayrılan birbirine benzeyen karakterler.
OCR bir karakteri yanlış okursa çeviri motoru yanlış kelimeyi dürüstçe çevirir. Kötü çeviri gibi görünen sonuçların çoğu aslında kötü okumadır.
3. adım: Metni çevirme
Tanınan metin bir makine çevirisi motoruna gönderilir. Motor yalnızca metni görür, resmi görmez; program iletmedikçe kimin konuştuğunu ya da sayfada ne olduğunu bilmez. İnsanların yapay zekâ çevirisi derken çoğunlukla kastettiği adım budur, ama beş adımdan yalnızca biridir. Argo, şakalar, hitap ekleri ve kısa ünlemler makine çevirisinin en zayıf olduğu yerlerdir.
4. adım: Orijinal yazıyı silme
Yeni yazı girmeden önce eskisinin gitmesi gerekir. En basit yöntem balonun üstüne beyaz bir kutu çekmektir. Düz beyaz bir balonda işe yarar, başka her yerde kötü görünür. Daha iyi yöntem inpainting'dir: bir model silinen alanı çevresindeki deseni sürdürerek doldurur, böylece ekran tonu, geçişler ve arka plan çizgileri delik yerine geri gelir.
5. adım: Çeviriyi yerleştirme
Yazı yerleştirme, çevrilmiş kelimeleri balonun içine okunur bir boyutta, şekline uyan satırlara bölerek koymaktır. İngilizce genellikle Japoncadan uzundur; bu yüzden program sığana kadar yazıyı küçültür ve kelimeleri kötü yerlerden bölmemesi gerekir. Dikey Japonca için çizilmiş uzun ve dar bir balon, yatay İngilizce için en zor durumdur.
RuneManga bugün bunu nasıl yapıyor?
- Her sayfada metin bulunur ve okunur. Japoncada manga için geliştirilmiş bir okuyucu kullanılır. Korece ve Çince desteklenir, tanıma kalitesi hâlâ gelişiyor.
- Çeviri, manga ve manhwa diyalogları için geliştirdiğimiz kendi yapay zekâ çevirmenimiz RuneLingua ile yapılır.
- Orijinal yazı silinir ve altındaki arka plan doldurulur; ardından çeviri aynı balona yerleştirilir.
- Çeviri sağlayıcısına görsel değil, yalnızca sayfada bulunan metin gider.
Hâlâ nerede başarısız oluyor?
- Konuşma balonlarının dışındaki metinler, örneğin anlatım kutuları ve çizimin üstündeki serbest yazılar henüz çevrilmiyor.
- Ses efektleri çizimin içine işlenmiştir ve henüz çevrilmiyor.
- Dikey yazı, stilize yazı tipleri ve çok küçük ya da bulanık yazılar okumanın en zor olduğu durumlardır.
- Çok küçük bir balondaki çok uzun bir çeviri, sığsın diye yazı küçültüldüğü için küçük çıkar.
RuneManga beta aşamasında ve makine çevirisi hata içerebilir. Çevrilmiş bir sayfayı resmî bir yayın olarak değil, okumaya yardımcı bir araç olarak görün.
Sorular
Yapay zekâ manga çevirisi Google Çeviri ile aynı şey mi?
Hayır. Google Çeviri yalnızca 3. adımı, yani sözcük seçimini yapar. Bir manga çevirmeni ayrıca yazıyı bulmalı, okumalı, silmeli ve çeviriyi balonun içine geri koymalıdır. RuneManga sözcük seçimi için kendi yapay zekâ çevirmeni RuneLingua'yı kullanıyor.
Yapay zekâ neden bazen bir satırı yanlış çeviriyor?
Ya metin 2. adımda yanlış okunmuştur ya da motor 3. adımda bağlamdan yoksundur. Daha büyük ve temiz bir görsel ilk nedeni giderir. İkincisi makine çevirisinin bir sınırıdır.
Yapay zekâ sayfamın tamamını görüyor mu?
Tespit ve silme adımları sayfa görselini gerektirir, bu yüzden RuneManga'nın kendi sunucularında çalışır. Çeviri sağlayıcısına yalnızca çıkarılan metin gider.
Renkli sayfaları çevirebilir mi?
Evet. Çeviri yalnızca metni değiştirir, bu yüzden renkli bir manhwa sayfası renklerini korur.