Como a IA colore mangá? Uma explicação simples
Como um colorizador de IA transforma mangá em preto e branco em colorido: o que o modelo vê, como escolhe as cores, por que as dicas ajudam e onde erra.
Um colorizador de IA funciona prevendo uma cor para cada região de uma página em preto e branco, com base no que aprendeu com muitos pares de imagens em preto e branco e coloridas. Ele encontra formas como cabelo, pele e céu, adivinha uma cor provável para cada uma e as pinta por baixo da arte-final. O colorizador próprio do RuneManga está em desenvolvimento; é assim que a técnica funciona em geral.
Esta é uma explicação geral. O modo Colorir do RuneManga está planejado, ainda não disponível, então não deve ser lido como uma descrição de algo que você possa usar hoje.
O que o modelo vê
A entrada é uma página em tons de cinza: arte-final preta, papel branco e retícula. O modelo não tem cor nenhuma de partida, então precisa descobrir o que cada forma é pelo contorno e pelo entorno. Uma forma redonda no alto de uma figura, emoldurada por linhas longas, provavelmente é cabelo. Uma área plana atrás da figura provavelmente é uma parede ou o céu.
Como ele escolhe as cores
No treinamento, o modelo vê uma quantidade enorme de exemplos: uma imagem colorida e a mesma imagem convertida para preto e branco. Ele aprende quais cores costumam combinar com quais formas. No uso, aplica esses hábitos à sua página. É uma previsão, não uma consulta, então o mesmo personagem pode acabar com um tom um pouco diferente a cada vez.
Por que a arte-final e a retícula importam
- A arte-final diz ao modelo onde uma região termina e a próxima começa. Linhas limpas e fechadas geram áreas de cor limpas, e linhas abertas deixam a cor vazar.
- A retícula é um padrão impresso de pontos ou linhas usado para sombreado. Para um modelo, pode parecer textura ou ruído, e pode gerar cor suja ou manchada. Alguns colorizadores removem ou suavizam as retículas antes.
- O texto atrapalha. As letras de um balão podem ser coloridas como parte da imagem, e é por isso que a ordem planejada no RuneManga é apagar o letreiramento antes de colorir.
Automático, com dicas e com referências
- Automático: o modelo escolhe tudo. É rápido e o mais fácil de errar.
- Com dicas: você coloca alguns traços ou pontos de cor e o modelo os espalha pelas formas. Dá controle sobre cabelo e roupas.
- Baseado em referência: você fornece uma imagem colorida do personagem e o modelo tenta igualá-la. Ajuda na consistência.
Onde dá errado
- Cores erradas em detalhes importantes, como os olhos de um personagem.
- Cores que mudam de uma página para a seguinte, porque cada página é prevista sozinha.
- Vazamentos por frestas na arte-final.
- Áreas sujas ou com ruído onde havia retícula.
- Cores que não combinam com a luz da cena, por exemplo uma cena noturna pintada com cores de dia.
O que ele não consegue saber
Um modelo não pode saber o que o artista pretendia. Se o cabelo de um personagem é prateado na história, mas a página é em preto e branco, o modelo não tem como ver isso. Ele só pode adivinhar a partir dos hábitos aprendidos no treinamento, e é por isso que algumas dicas ou uma imagem de referência muitas vezes fazem uma grande diferença.
Como isso se encaixa num tradutor
Traduzir e colorir são trabalhos separados, e a ordem importa. Ler o texto funciona melhor na página original em preto e branco, e colorir funciona melhor numa página sem o letreiramento antigo. Então a sequência é: ler, traduzir, apagar e reconstruir, colorir e, por fim, inserir a tradução por cima. O RuneManga pretende fazer tudo isso numa só execução quando a coloração estiver pronta.
Perguntas
Mangá colorido por IA é a coloração real do artista?
Não. É uma previsão feita por um modelo. As edições oficiais coloridas são feitas pelo artista e por um colorista, ou com eles.
Por que algumas colorações de IA parecem chapadas?
O modelo prevê regiões de cor e pode não acrescentar o sombreado e a iluminação que um colorista pinta à mão.
Funciona em qualquer mangá?
Funciona melhor com arte-final limpa e contornos claros. Retícula carregada, scans ruins e estilos incomuns são mais difíceis.
O RuneManga colore mangá?
Ainda não. Colorir está planejado, ainda não disponível, e o colorizador está em desenvolvimento. Traduzir é o modo para usar hoje.