Comment marche la traduction de manga par IA ?
Les cinq étapes d'un traducteur de manga par IA : repérer les bulles, lire le texte, traduire, effacer le lettrage et recomposer. Et où chacune échoue.
La traduction de manga par IA se fait en cinq étapes : repérer les bulles et le texte, lire le texte par OCR, le traduire, effacer le lettrage d'origine et reconstruire le dessin dessous, puis recomposer la traduction dans la bulle. Chaque étape est un modèle ou un programme distinct, et le plus faible décide de la qualité de la page finale.
Étape 1 : repérer les bulles et le texte
Le premier travail consiste à localiser les mots. Un modèle de détection regarde la page et trace un cadre ou un contour autour de chaque bloc de texte : bulles, cartouches de narration, légendes et, parfois, lettrage placé directement sur le dessin. Trouver la bulle compte autant que trouver les mots, car la bulle est l'espace dans lequel la traduction devra tenir ensuite.
C'est pourquoi un scan propre et grand aide autant. Un lettrage pâle, minuscule ou penché passe facilement inaperçu, et un bloc de texte jamais repéré n'est jamais traduit.
Étape 2 : lire le texte par OCR
L'OCR (reconnaissance optique de caractères) transforme les pixels de chaque cadre en caractères qu'un ordinateur sait manipuler. Le manga est plus difficile qu'une page imprimée. Le japonais est souvent vertical, de petits kana appelés furigana se glissent à côté des kanji, les polices sont stylisées et le fond peut être une trame plutôt qu'un blanc uni. Le coréen et le chinois posent leurs propres problèmes, comme des caractères presque identiques qui ne diffèrent que par un trait fin.
Si l'OCR lit mal un caractère, le moteur de traduction traduira fidèlement le mauvais mot. Beaucoup de résultats qui ressemblent à une mauvaise traduction sont en réalité une mauvaise lecture.
Étape 3 : traduire le texte
Le texte reconnu est envoyé à un moteur de traduction automatique. Le moteur ne voit que du texte, pas l'image : il ne sait donc ni qui parle ni ce que montre la page, sauf si le programme le lui transmet. C'est cette étape que les gens désignent d'habitude par traduction par IA, mais ce n'est qu'une des cinq. L'argot, les blagues, les titres honorifiques et les exclamations courtes sont là où la traduction automatique est la plus faible.
Étape 4 : effacer le lettrage d'origine
Avant de poser le nouveau texte, il faut retirer l'ancien. La méthode la plus simple consiste à peindre un rectangle blanc sur la bulle. Cela marche dans une bulle d'un blanc uni et paraît faux partout ailleurs. Une meilleure méthode est l'inpainting : un modèle comble la zone effacée en prolongeant le motif qui l'entoure, si bien que la trame, les dégradés et les lignes du fond reviennent au lieu d'un trou.
Étape 5 : composer la traduction
Composer le texte, c'est placer les mots traduits dans la bulle à une taille lisible, découpés en lignes qui épousent sa forme. Le français est généralement plus long que le japonais : le programme réduit donc le texte jusqu'à ce qu'il tienne, et doit éviter de couper les mots à de mauvais endroits. Une bulle haute et étroite faite pour du japonais vertical est le cas le plus difficile pour un texte horizontal.
Comment RuneManga procède aujourd'hui
- Le texte est repéré et lu sur chaque page. Pour le japonais, on utilise un lecteur conçu pour le manga. Le coréen et le chinois sont pris en charge, et leur reconnaissance continue de s'améliorer.
- La traduction se fait avec RuneLingua, notre propre traducteur IA conçu pour les dialogues de manga et de manhwa.
- Le lettrage d'origine est effacé et le fond en dessous comblé, puis la traduction est placée dans la même bulle.
- Seul le texte trouvé sur une page part chez le fournisseur de traduction, pas l'image.
Là où ça échoue encore
- Le texte en dehors des bulles, comme les cartouches de narration et le texte libre sur le dessin, n'est pas encore traduit.
- Les effets sonores sont dessinés dans l'image et ne sont pas encore traduits.
- Le lettrage vertical, les polices stylisées et le texte très petit ou flou sont les cas les plus difficiles à lire.
- Une traduction très longue dans une très petite bulle sort en petits caractères, car le texte est réduit pour tenir.
RuneManga est en bêta et la traduction automatique peut contenir des erreurs. Considérez une page traduite comme une aide à la lecture, pas comme une édition officielle.
Questions
La traduction de manga par IA, c'est la même chose que Google Traduction ?
Non. Google Traduction ne s'occupe que de l'étape 3, les mots. Un traducteur de manga doit aussi trouver le texte, le lire, l'effacer et remettre la traduction dans la bulle. RuneManga utilise pour les mots son propre traducteur IA, RuneLingua.
Pourquoi l'IA traduit-elle parfois mal une réplique ?
Soit le texte a été mal lu à l'étape 2, soit le moteur manquait de contexte à l'étape 3. Une image plus grande et plus propre règle la première cause. La seconde est une limite de la traduction automatique.
L'IA voit-elle toute ma page ?
Les étapes de détection et d'effacement ont besoin de l'image de la page, elles tournent donc sur les serveurs de RuneManga. Seul le texte extrait part chez le fournisseur de traduction.
Peut-elle traduire des pages en couleur ?
Oui. Traduire ne change que le texte : une page de manhwa en couleur garde donc ses couleurs.