Как работает ИИ-перевод манги?
Пять шагов, на которых держится ИИ-переводчик манги: найти пузыри, прочитать текст, перевести, стереть надписи и вписать перевод. И где ломается каждый.
ИИ-перевод манги выполняется в пять шагов: найти пузыри реплик и текст, прочитать текст с помощью OCR, перевести его, стереть исходные надписи и восстановить рисунок под ними, а затем вписать перевод обратно в пузырь. Каждый шаг — отдельная модель или программа, и самое слабое звено определяет, как выглядит готовая страница.
Шаг 1: найти пузыри и текст
Сначала нужно понять, где находятся слова. Модель обнаружения просматривает страницу и обводит рамкой или контуром каждый блок текста: пузыри реплик, блоки с повествованием, подписи, а иногда и надписи, стоящие прямо на рисунке. Найти пузырь так же важно, как найти слова, ведь пузырь — это место, в которое потом должен поместиться перевод.
Поэтому чистый крупный скан так сильно помогает. Бледные, мелкие или наклонные надписи легко пропустить, а блок текста, который не нашли, никогда не будет переведён.
Шаг 2: прочитать текст с помощью OCR
OCR (оптическое распознавание символов) превращает пиксели внутри каждой рамки в символы, с которыми может работать компьютер. С мангой сложнее, чем с печатной страницей. Японский часто пишется вертикально, рядом с иероглифами стоит мелкая кана — фуригана, шрифты стилизованы, а фоном может служить скринтон, а не простая белая заливка. У корейского и китайского свои трудности, например похожие знаки, различающиеся одной тонкой чертой.
Если OCR неверно прочитает знак, движок перевода послушно переведёт не то слово. Многие результаты, которые кажутся плохим переводом, на самом деле — плохое чтение.
Шаг 3: перевести текст
Распознанный текст отправляется в движок машинного перевода. Он видит только текст, а не картинку, поэтому не знает, кто говорит и что нарисовано на странице, если программа не передаст ему это. Именно этот шаг люди обычно имеют в виду, говоря об ИИ-переводе, но он лишь один из пяти. Сленг, шутки, обращения и короткие восклицания — самое слабое место машинного перевода.
Шаг 4: стереть исходные надписи
Прежде чем вставить новый текст, нужно убрать старый. Проще всего закрасить пузырь белым прямоугольником. В обычном белом пузыре это работает, а везде остальное выглядит неправильно. Лучше инпейнтинг: модель заполняет стёртую область, продолжая узор вокруг, так что скринтон, градиенты и линии фона возвращаются на место, а не остаётся дыра.
Шаг 5: вписать перевод
Набор текста (тайпсеттинг) — это размещение переведённых слов в пузыре читаемым размером, с переносом на строки, подходящие по форме. Перевод обычно длиннее японского оригинала, поэтому программа уменьшает текст, пока он не поместится, и при этом должна избегать неудачных переносов слов. Высокий узкий пузырь, рассчитанный на вертикальный японский, — самый трудный случай для горизонтального текста.
Как это делает RuneManga сегодня
- Текст находится и читается на каждой странице. Для японского есть распознаватель, созданный специально для манги. Корейский и китайский поддерживаются, и их распознавание ещё улучшается.
- Перевод выполняет RuneLingua, наш собственный ИИ-переводчик для диалогов манги и манхвы.
- Исходные надписи стираются, фон под ними заполняется, затем перевод вписывается в тот же пузырь.
- Поставщику перевода уходит только найденный на странице текст, а не изображение.
Где это пока не работает
- Текст вне пузырей, например блоки с повествованием и надписи прямо на рисунке, пока не переводится.
- Звуковые эффекты нарисованы как часть рисунка и пока не переводятся.
- Вертикальные надписи, стилизованные шрифты и очень мелкий или размытый текст — самые трудные случаи для чтения.
- Очень длинный перевод в очень маленьком пузыре получается мелким, потому что текст уменьшается, чтобы поместиться.
RuneManga находится в бета-версии, а машинный перевод может содержать ошибки. Воспринимайте переведённую страницу как помощь при чтении, а не как официальный перевод.
Вопросы
ИИ-перевод манги — это то же самое, что Google Переводчик?
Нет. Google Переводчик выполняет только шаг 3, подбор слов. Переводчику манги ещё нужно найти текст, прочитать его, стереть и вписать перевод обратно в пузырь. Для подбора слов RuneManga использует собственный ИИ-переводчик RuneLingua.
Почему ИИ иногда неверно переводит строку?
Либо текст был неверно прочитан на шаге 2, либо движку не хватило контекста на шаге 3. Изображение крупнее и чище устраняет первую причину. Вторая — предел машинного перевода.
Видит ли ИИ всю мою страницу?
Этапам поиска и стирания нужно изображение страницы, поэтому они выполняются на собственных серверах RuneManga. Поставщику перевода уходит только извлечённый текст.
Можно ли переводить цветные страницы?
Да. Перевод меняет только текст, поэтому цветная страница манхвы сохраняет свои цвета.