Comment l'IA colorise-t-elle un manga ? En clair

Un coloriseur IA fonctionne en prédisant une couleur pour chaque région d'une page en noir et blanc, d'après ce qu'il a appris sur de nombreuses paires d'images en noir et blanc et en couleur. Il repère des formes comme les cheveux, la peau et le ciel, devine une couleur probable pour chacune et les peint sous le trait. Le coloriseur propre à RuneManga est en développement ; voici comment la technique fonctionne en général.

Ce que voit le modèle

L'entrée est une page en niveaux de gris : trait noir, papier blanc et trame. Le modèle n'a aucune couleur au départ ; il doit donc déduire ce qu'est chaque forme d'après son contour et son environnement. Une forme ronde en haut d'un personnage, encadrée de longs traits, ce sont probablement des cheveux. Une zone plate derrière le personnage, c'est probablement un mur ou le ciel.

Comment il choisit les couleurs

Pendant l'entraînement, le modèle voit un très grand nombre d'exemples : une image en couleur et la même image passée en noir et blanc. Il apprend quelles couleurs vont d'habitude avec quelles formes. À l'usage, il applique ces habitudes à votre page. C'est une prédiction, pas une recherche : un même personnage peut donc se retrouver avec une teinte légèrement différente à chaque fois.

Pourquoi le trait et la trame comptent

• Le trait indique au modèle où une région s'arrête et où la suivante commence. Des traits nets et fermés donnent des zones de couleur nettes, et des traits interrompus laissent la couleur déborder.
• La trame est un motif imprimé de points ou de lignes utilisé pour l'ombrage. Pour un modèle, elle peut ressembler à de la texture ou à du bruit, et produire une couleur sale ou tachée. Certains coloriseurs retirent ou lissent d'abord les trames.
• Le texte gêne. Les lettres d'une bulle peuvent être colorées comme une partie du dessin, c'est pourquoi l'ordre prévu par RuneManga consiste à effacer le lettrage avant de coloriser.

Automatique, indications et références

• Automatique : le modèle choisit tout. C'est rapide, et le plus facile à rater.
• Avec indications : vous placez quelques traits ou points de couleur et le modèle les étend sur les formes. Cela vous donne le contrôle des cheveux et des vêtements.
• Avec référence : vous fournissez une image en couleur du personnage et le modèle essaie de s'y conformer. Cela aide à la cohérence.

Là où ça se passe mal

• Des couleurs fausses pour des détails importants, comme les yeux d'un personnage.
• Des couleurs qui changent d'une page à la suivante, parce que chaque page est prédite séparément.
• Des débordements à travers les trous du trait.
• Des zones sales ou bruitées là où il y avait de la trame.
• Des couleurs qui ne correspondent pas à la lumière de la scène, par exemple une scène de nuit peinte avec des couleurs de jour.

Ce qu'il ne peut pas savoir

Un modèle ne peut pas savoir ce que l'auteur avait en tête. Si les cheveux d'un personnage sont argentés dans l'histoire mais que la page est en noir et blanc, le modèle ne peut pas le voir. Il ne peut que deviner à partir des habitudes acquises à l'entraînement, c'est pourquoi quelques indications ou une image de référence changent souvent beaucoup de choses.

Comment cela s'intègre dans un traducteur

Traduire et coloriser sont deux travaux distincts, et l'ordre compte. La lecture du texte marche mieux sur la page d'origine en noir et blanc, et la colorisation marche mieux sur une page dont l'ancien lettrage a été retiré. La séquence est donc : lire, traduire, effacer et reconstruire, coloriser, puis composer la traduction par-dessus. RuneManga prévoit de faire tout cela en une seule exécution quand la colorisation sera prête.

Questions

• Comment coloriser un manga : à la main et par IA
• Pourquoi les couleurs d'un manga IA changent
• Coloriser un manga avec RuneManga (prévu)
• Glossaire