Wie funktioniert KI-Manga-Übersetzung?
Die fünf Schritte hinter einem KI-Manga-Übersetzer: Blasen finden, Text lesen, übersetzen, Lettering entfernen und setzen. Und wo jeder Schritt scheitert.
KI-Manga-Übersetzung läuft in fünf Schritten ab: Sprechblasen und Text finden, den Text per OCR lesen, ihn übersetzen, das ursprüngliche Lettering entfernen und die Zeichnung darunter neu aufbauen, und schließlich die Übersetzung wieder in die Blase setzen. Jeder Schritt ist ein eigenes Modell oder Programm, und das schwächste entscheidet, wie gut die fertige Seite aussieht.
Schritt 1: Sprechblasen und Text finden
Zuerst muss erkannt werden, wo die Wörter stehen. Ein Erkennungsmodell sieht sich die Seite an und zieht um jeden Textblock einen Rahmen oder eine Kontur: Sprechblasen, Erzählkästen, Bildunterschriften und manchmal Lettering, das direkt auf der Zeichnung steht. Die Blase zu finden ist genauso wichtig wie die Wörter zu finden, denn sie ist der Platz, in den die Übersetzung später passen muss.
Deshalb hilft ein sauberer, großer Scan so sehr. Blasses, winziges oder schiefes Lettering wird leicht übersehen, und ein Textblock, der nie gefunden wird, wird auch nie übersetzt.
Schritt 2: Den Text per OCR lesen
OCR (optische Zeichenerkennung) macht aus den Pixeln in jedem Rahmen Schriftzeichen, mit denen ein Computer arbeiten kann. Manga ist schwieriger als eine gedruckte Seite. Japanisch steht oft vertikal, kleine Kana namens Furigana stehen neben den Kanji, die Schriften sind stilisiert, und der Hintergrund kann Rasterfolie statt schlichtem Weiß sein. Koreanisch und Chinesisch bringen eigene Probleme mit, etwa ähnlich aussehende Zeichen, die sich nur durch einen dünnen Strich unterscheiden.
Liest die OCR ein Zeichen falsch, übersetzt die Übersetzungs-Engine brav das falsche Wort. Viele Ergebnisse, die nach schlechter Übersetzung aussehen, sind in Wahrheit schlechtes Lesen.
Schritt 3: Den Text übersetzen
Der erkannte Text geht an eine maschinelle Übersetzungs-Engine. Sie sieht nur Text, nicht das Bild, und weiß deshalb nicht, wer spricht oder was auf der Seite zu sehen ist, solange das Programm es nicht mitliefert. Dieser Schritt ist es, den die meisten meinen, wenn sie von KI-Übersetzung reden, aber er ist nur einer von fünf. Slang, Witze, Anredeformen und kurze Ausrufe sind die Schwachstellen der maschinellen Übersetzung.
Schritt 4: Das ursprüngliche Lettering entfernen
Bevor der neue Text hineinkommt, muss der alte raus. Am einfachsten ist ein weißer Kasten über der Blase. Das funktioniert in einer schlichten weißen Blase und sieht überall sonst falsch aus. Besser ist Inpainting: Ein Modell füllt die gelöschte Fläche, indem es das Muster ringsum fortsetzt, sodass Rasterfolie, Verläufe und Hintergrundlinien zurückkommen, statt ein Loch zu hinterlassen.
Schritt 5: Die Übersetzung setzen
Setzen (Typesetting) heißt, die übersetzten Wörter in lesbarer Größe in die Blase zu legen, in Zeilen umbrochen, die zur Form passen. Die Übersetzung ist meist länger als das japanische Original, deshalb verkleinert das Programm den Text, bis er passt, und muss dabei vermeiden, Wörter an ungünstigen Stellen zu trennen. Eine hohe, schmale Blase, die für vertikales Japanisch gemacht ist, ist für waagerechten Text der schwierigste Fall.
So macht es RuneManga heute
- Text wird auf jeder Seite gefunden und gelesen. Für Japanisch gibt es eine eigens für Manga gebaute Erkennung. Koreanisch und Chinesisch werden unterstützt, ihre Erkennung wird noch verbessert.
- Übersetzt wird mit RuneLingua, unserem eigenen KI-Übersetzer für Manga- und Manhwa-Dialoge.
- Das ursprüngliche Lettering wird entfernt und der Hintergrund darunter aufgefüllt, dann wird die Übersetzung in dieselbe Blase gesetzt.
- Nur der auf einer Seite gefundene Text geht an den Übersetzungsanbieter, nicht das Bild.
Wo es noch scheitert
- Text außerhalb von Sprechblasen, etwa Erzählkästen und freier Text auf der Zeichnung, wird noch nicht übersetzt.
- Soundeffekte sind in die Zeichnung gemalt und werden noch nicht übersetzt.
- Vertikales Lettering, stilisierte Schriften und sehr kleiner oder unscharfer Text sind die schwierigsten Fälle beim Lesen.
- Eine sehr lange Übersetzung in einer sehr kleinen Blase wird klein, weil der Text zum Einpassen verkleinert wird.
RuneManga ist in der Beta, und maschinelle Übersetzung kann Fehler enthalten. Sieh eine übersetzte Seite als Lesehilfe, nicht als offizielle Veröffentlichung.
Fragen
Ist KI-Manga-Übersetzung dasselbe wie Google Übersetzer?
Nein. Google Übersetzer erledigt nur Schritt 3, die Formulierung. Ein Manga-Übersetzer muss außerdem den Text finden, lesen, entfernen und die Übersetzung wieder in die Blase setzen. RuneManga nutzt für die Formulierung seinen eigenen KI-Übersetzer RuneLingua.
Warum übersetzt die KI manche Zeile falsch?
Entweder wurde der Text in Schritt 2 falsch gelesen, oder der Engine fehlte in Schritt 3 der Zusammenhang. Ein größeres, saubereres Bild behebt die erste Ursache. Die zweite ist eine Grenze der maschinellen Übersetzung.
Sieht die KI meine ganze Seite?
Erkennung und Entfernen brauchen das Seitenbild und laufen daher auf den eigenen Servern von RuneManga. An den Übersetzungsanbieter geht nur der extrahierte Text.
Kann sie farbige Seiten übersetzen?
Ja. Übersetzen ändert nur den Text, eine farbige Manhwa-Seite behält also ihre Farben.