¿Cómo funciona la traducción de manga con IA?
Los cinco pasos de un traductor de manga con IA: localizar los bocadillos, leer el texto, traducir, borrar el rotulado y maquetar. Y dónde falla cada uno.
La traducción de manga con IA funciona en cinco pasos: localizar los bocadillos y el texto, leer el texto con OCR, traducirlo, borrar el rotulado original y reconstruir el dibujo que hay debajo, y por último maquetar la traducción dentro del bocadillo. Cada paso es un modelo o programa distinto, y el más débil decide qué tan bien queda la página terminada.
Paso 1: localizar los bocadillos y el texto
Lo primero es encontrar dónde están las palabras. Un modelo de detección mira la página y dibuja un recuadro o un contorno alrededor de cada bloque de texto: bocadillos, cuadros de narración, rótulos y, a veces, texto escrito directamente sobre el dibujo. Encontrar el bocadillo importa tanto como encontrar las palabras, porque el bocadillo es el espacio en el que luego tiene que caber la traducción.
Por eso ayuda tanto un escaneo limpio y grande. El texto tenue, diminuto o torcido se pasa por alto con facilidad, y un bloque de texto que nunca se encuentra nunca se traduce.
Paso 2: leer el texto con OCR
El OCR (reconocimiento óptico de caracteres) convierte los píxeles de cada recuadro en caracteres que un ordenador puede manejar. El manga es más difícil que una página impresa. El japonés suele ir en vertical, junto a los kanji aparecen kana pequeños llamados furigana, las tipografías son estilizadas y el fondo puede ser trama en lugar de blanco liso. El coreano y el chino traen sus propios problemas, como caracteres parecidos que solo se distinguen por un trazo fino.
Si el OCR lee mal un carácter, el motor de traducción traducirá fielmente la palabra equivocada. Muchos resultados que parecen una mala traducción son en realidad una mala lectura.
Paso 3: traducir el texto
El texto reconocido se envía a un motor de traducción automática. El motor solo ve texto, no la imagen, así que no sabe quién habla ni qué hay en la página a menos que el programa se lo indique. Este es el paso al que suele referirse la gente cuando habla de traducción con IA, pero es solo uno de cinco. La jerga, los chistes, los honoríficos y las exclamaciones cortas son donde la traducción automática es más débil.
Paso 4: borrar el rotulado original
Antes de poner el texto nuevo hay que quitar el viejo. El método más simple es pintar un recuadro blanco sobre el bocadillo. Funciona en un bocadillo blanco liso y queda mal en cualquier otro sitio. Un método mejor es el inpainting: un modelo rellena la zona borrada continuando el patrón que la rodea, de modo que la trama, los degradados y las líneas del fondo vuelven en lugar de dejar un hueco.
Paso 5: maquetar la traducción
Maquetar el texto es colocar las palabras traducidas dentro del bocadillo con un tamaño legible, repartidas en líneas que se ajusten a su forma. El español suele ser más largo que el japonés, así que el programa reduce el texto hasta que cabe, y debe evitar cortar las palabras en sitios incómodos. Un bocadillo alto y estrecho pensado para japonés vertical es el caso más difícil para un texto horizontal.
Cómo lo hace RuneManga hoy
- El texto se localiza y se lee en cada página. Para japonés se usa un lector hecho para manga. El coreano y el chino están admitidos, y su reconocimiento sigue mejorando.
- La traducción la hace RuneLingua, nuestro propio traductor de IA, hecho para los diálogos de manga y manhwa.
- El rotulado original se borra y se rellena el fondo que hay debajo; después, la traducción se coloca en el mismo bocadillo.
- Al proveedor de traducción solo llega el texto encontrado en una página, no la imagen.
Dónde sigue fallando
- El texto fuera de los bocadillos, como los cuadros de narración y el texto suelto sobre el dibujo, todavía no se traduce.
- Los efectos de sonido están dibujados dentro de la imagen y todavía no se traducen.
- El rotulado vertical, las tipografías estilizadas y el texto muy pequeño o borroso son los casos más difíciles de leer.
- Una traducción muy larga en un bocadillo muy pequeño sale pequeña, porque el texto se reduce para que quepa.
RuneManga está en beta y la traducción automática puede contener errores. Considera una página traducida como una ayuda para leer, no como una edición oficial.
Preguntas
¿La traducción de manga con IA es lo mismo que Google Translate?
No. Google Translate solo se ocupa del paso 3, las palabras. Un traductor de manga también tiene que encontrar el texto, leerlo, borrarlo y volver a colocar la traducción en el bocadillo. RuneManga usa para las palabras su propio traductor de IA, RuneLingua.
¿Por qué la IA traduce mal una línea a veces?
O bien el texto se leyó mal en el paso 2, o bien el motor no tenía contexto en el paso 3. Una imagen más grande y limpia soluciona la primera causa. La segunda es un límite de la traducción automática.
¿La IA ve toda mi página?
Los pasos de detección y borrado necesitan la imagen de la página, así que se ejecutan en los servidores de RuneManga. Al proveedor de traducción solo va el texto extraído.
¿Puede traducir páginas en color?
Sí. Traducir solo cambia el texto, así que una página de manhwa en color conserva sus colores.