Как ИИ раскрашивает мангу: простое объяснение

ИИ-колоризатор предсказывает цвет для каждой области чёрно-белой страницы на основе того, чему он научился по множеству пар чёрно-белых и цветных изображений. Он находит формы, такие как волосы, кожа и небо, угадывает для каждой вероятный цвет и закрашивает их под контурным рисунком. Собственный колоризатор RuneManga находится в разработке; так работает эта техника в целом.

Что видит модель

На входе — страница в градациях серого: чёрный контурный рисунок, белая бумага и скринтон. Цвета у модели в начале нет, поэтому она должна по контуру и окружению понять, что представляет каждая форма. Круглая форма вверху фигуры, обрамлённая длинными линиями, — вероятно, волосы. Плоская область за фигурой — вероятно, стена или небо.

Как она выбирает цвета

Во время обучения модели показывают очень большое число примеров: цветное изображение и то же изображение, превращённое в чёрно-белое. Она узнаёт, какие цвета обычно сочетаются с какими формами. При использовании она применяет эти привычки к вашей странице. Это предсказание, а не поиск по таблице, поэтому один и тот же персонаж каждый раз может получить чуть другой оттенок.

Почему важны контур и скринтон

• Контур показывает модели, где кончается одна область и начинается следующая. Чистые замкнутые линии дают чистые цветовые области, а разрывы в линиях позволяют цвету вытекать.
• Скринтон — печатный узор из точек или линий, используемый для теней. Для модели он может выглядеть как фактура или как шум и давать грязный или пятнистый цвет. Некоторые колоризаторы сначала убирают или сглаживают тона.
• Текст мешает. Буквы в пузыре могут раскраситься как часть картинки, поэтому в RuneManga планируют стирать надписи до раскрашивания.

Автоматически, с подсказками и по эталону

• Автоматически: модель выбирает всё сама. Быстро, и проще всего ошибиться.
• С подсказками: вы ставите несколько цветных мазков или точек, а модель распространяет их по формам. Это даёт контроль над волосами и одеждой.
• По эталону: вы даёте цветную картинку персонажа, и модель старается ей соответствовать. Это помогает единообразию.

Где она ошибается

• Неверные цвета у важных деталей, например глаз персонажа.
• Цвета, меняющиеся от страницы к странице, потому что каждая страница предсказывается отдельно.
• Затекание цвета через разрывы в контуре.
• Мутные или шумные области там, где был скринтон.
• Цвета, не подходящие свету сцены, например ночная сцена в дневных цветах.

Чего она не может знать

Модель не может знать, что задумал художник. Если волосы персонажа в истории серебристые, а страница чёрно-белая, модель этого не видит. Она может лишь угадывать по привычкам, усвоенным при обучении, поэтому несколько подсказок или эталонная картинка часто сильно меняют результат.

Как это вписывается в переводчик

Перевод и раскрашивание — отдельные задачи, и порядок важен. Текст лучше всего читать на исходной чёрно-белой странице, а раскрашивать лучше страницу без старых надписей. Поэтому последовательность такая: прочитать, перевести, стереть и восстановить, раскрасить, затем вписать перевод сверху. RuneManga планирует делать всё это за один запуск, когда раскрашивание будет готово.

Вопросы

• Как раскрасить мангу: вручную и с помощью ИИ
• Почему цвета ИИ меняются от страницы к странице
• Раскрашивание манги в RuneManga (запланировано)
• Глоссарий