Como funciona a tradução de mangá com IA?
Os cinco passos de um tradutor de mangá com IA: achar os balões, ler o texto, traduzir, apagar o letreiramento e inserir a tradução. E onde cada um falha.
A tradução de mangá com IA funciona em cinco passos: achar os balões de fala e o texto, ler o texto com OCR, traduzi-lo, apagar o letreiramento original e reconstruir o desenho que fica por baixo, e por fim inserir a tradução dentro do balão. Cada passo é um modelo ou programa separado, e o mais fraco decide o quanto a página final fica boa.
Passo 1: achar os balões de fala e o texto
O primeiro trabalho é localizar onde estão as palavras. Um modelo de detecção olha a página e desenha uma caixa ou um contorno em volta de cada bloco de texto: balões de fala, caixas de narração, legendas e, às vezes, letras que ficam direto sobre o desenho. Achar o balão importa tanto quanto achar as palavras, porque o balão é o espaço em que a tradução terá de caber depois.
É por isso que um scan limpo e grande ajuda tanto. Letras fracas, minúsculas ou inclinadas passam despercebidas com facilidade, e um bloco de texto que nunca é encontrado nunca é traduzido.
Passo 2: ler o texto com OCR
O OCR (reconhecimento óptico de caracteres) transforma os pixels dentro de cada caixa em caracteres que o computador consegue tratar. O mangá é mais difícil do que uma página impressa. O japonês costuma ser vertical, ao lado dos kanji aparecem kana pequenos chamados furigana, as fontes são estilizadas e o fundo pode ser retícula em vez de branco liso. O coreano e o chinês trazem problemas próprios, como caracteres parecidos que só se distinguem por um traço fino.
Se o OCR lê um caractere errado, o mecanismo de tradução vai traduzir fielmente a palavra errada. Muitos resultados que parecem tradução ruim são, na verdade, leitura ruim.
Passo 3: traduzir o texto
O texto reconhecido é enviado a um mecanismo de tradução automática. O mecanismo só enxerga texto, não a imagem, então não sabe quem está falando nem o que há na página, a menos que o programa passe essa informação. É a esta etapa que as pessoas costumam se referir quando falam em tradução com IA, mas ela é só uma das cinco. Gírias, piadas, honoríficos e exclamações curtas são onde a tradução automática é mais fraca.
Passo 4: apagar o letreiramento original
Antes de entrar o texto novo, o antigo precisa sair. O método mais simples é pintar uma caixa branca sobre o balão. Funciona num balão branco liso e fica estranho em qualquer outro lugar. Um método melhor é o inpainting: um modelo preenche a área apagada continuando o padrão ao redor, de modo que a retícula, os degradês e as linhas do fundo voltam em vez de um buraco.
Passo 5: inserir a tradução
Inserir o texto (typesetting) é colocar as palavras traduzidas dentro do balão num tamanho legível, quebradas em linhas que se ajustem ao formato. O português costuma ser mais longo que o japonês, então o programa reduz o texto até caber, e precisa evitar quebrar as palavras em lugares ruins. Um balão alto e estreito feito para o japonês vertical é o caso mais difícil para um texto horizontal.
Como o RuneManga faz isso hoje
- O texto é encontrado e lido em cada página. Para o japonês, usamos um leitor feito para mangá. Coreano e chinês são aceitos, e o reconhecimento deles ainda está melhorando.
- A tradução é feita pelo RuneLingua, nosso próprio tradutor de IA, feito para diálogos de mangá e manhwa.
- O letreiramento original é apagado e o fundo por baixo é preenchido; depois, a tradução é colocada no mesmo balão.
- Só o texto encontrado na página vai para o provedor de tradução, não a imagem.
Onde ainda falha
- O texto fora dos balões de fala, como caixas de narração e texto solto sobre o desenho, ainda não é traduzido.
- Os efeitos sonoros fazem parte do desenho e ainda não são traduzidos.
- Letreiramento vertical, fontes estilizadas e texto muito pequeno ou borrado são os casos mais difíceis de ler.
- Uma tradução muito longa num balão muito pequeno sai pequena, porque o texto é reduzido para caber.
O RuneManga está em beta e a tradução automática pode conter erros. Trate uma página traduzida como um apoio à leitura, não como uma edição oficial.
Perguntas
Tradução de mangá com IA é a mesma coisa que o Google Tradutor?
Não. O Google Tradutor cuida só do passo 3, as palavras. Um tradutor de mangá também precisa achar o texto, lê-lo, apagá-lo e recolocar a tradução no balão. O RuneManga usa para as palavras o próprio tradutor de IA, o RuneLingua.
Por que a IA às vezes erra a tradução de uma fala?
Ou o texto foi lido errado no passo 2, ou o mecanismo ficou sem contexto no passo 3. Uma imagem maior e mais limpa resolve a primeira causa. A segunda é um limite da tradução automática.
A IA enxerga a minha página inteira?
As etapas de detecção e de apagamento precisam da imagem da página, então rodam nos servidores do próprio RuneManga. Só o texto extraído vai para o provedor de tradução.
Ela consegue traduzir páginas coloridas?
Sim. Traduzir muda apenas o texto, então uma página colorida de manhwa mantém as cores.