AI 만화 번역은 어떻게 작동할까?

AI 만화 번역은 다섯 단계로 이루어집니다. 말풍선과 글자를 찾고, OCR로 글자를 읽고, 번역하고, 원래 글자를 지우면서 그 아래 그림을 복원한 뒤, 번역문을 말풍선에 다시 식자합니다. 각 단계는 서로 다른 모델이나 프로그램이며, 가장 약한 단계가 완성된 페이지의 품질을 좌우합니다.

1단계: 말풍선과 글자 찾기

첫 번째 일은 글자가 어디에 있는지 찾는 것입니다. 검출 모델이 페이지를 보고 말풍선, 내레이션 박스, 캡션, 때로는 그림 위에 바로 쓴 글자까지 하나하나 상자나 윤곽선으로 표시합니다. 글자만큼 말풍선을 찾는 것도 중요한데, 말풍선이 나중에 번역문이 들어갈 공간이 되기 때문입니다.

크고 깨끗한 스캔이 큰 도움이 되는 이유가 이 단계에 있습니다. 흐리거나 아주 작거나 기울어진 글자는 놓치기 쉽고, 한 번도 찾지 못한 글자는 번역되지 않습니다.

2단계: OCR로 글자 읽기

OCR(문자 인식)은 각 영역 안의 픽셀을 컴퓨터가 다룰 수 있는 문자로 바꿉니다. 만화는 인쇄된 문서보다 까다롭습니다. 일본어는 세로쓰기가 많고, 한자 옆에 후리가나라는 작은 가나가 붙으며, 글꼴은 장식적이고, 배경이 흰색이 아니라 스크린톤일 때도 있습니다. 한국어와 중국어에도 가는 획 하나로 갈리는 비슷한 글자가 있어 나름의 어려움이 있습니다.

OCR이 글자를 잘못 읽으면 번역 엔진은 그 잘못된 단어를 그대로 충실히 번역합니다. 번역이 나빠 보이는 결과의 상당수는 사실 잘못 읽은 것입니다.

3단계: 텍스트 번역하기

인식된 텍스트는 기계 번역 엔진으로 보내집니다. 엔진은 그림이 아니라 글자만 보기 때문에, 프로그램이 알려 주지 않는 한 누가 말하는지, 페이지에 무엇이 그려져 있는지 알지 못합니다. 사람들이 ‘AI 번역’이라고 하면 보통 이 단계를 떠올리지만, 다섯 단계 중 하나일 뿐입니다. 속어, 농담, 존칭, 짧은 감탄사는 기계 번역이 가장 약한 부분입니다.

4단계: 원래 글자 지우기

새 글자를 넣으려면 먼저 옛 글자를 빼야 합니다. 가장 단순한 방법은 말풍선 위에 흰 상자를 덮는 것입니다. 깨끗한 흰 말풍선에서는 통하지만, 다른 곳에서는 어색해 보입니다. 더 나은 방법은 인페인팅입니다. 지운 영역을 모델이 주변 무늬를 이어서 채우므로, 구멍 대신 스크린톤과 그러데이션, 배경 선이 되살아납니다.

5단계: 번역문 식자하기

식자란 번역된 글을 말풍선 안에 읽기 편한 크기로, 모양에 맞게 줄을 바꿔 가며 배치하는 일입니다. 영어는 보통 원문보다 길어서 프로그램이 들어갈 때까지 글자를 줄여야 하고, 단어를 어색한 곳에서 끊지 않도록 해야 합니다. 세로쓰기 일본어에 맞춰 그린 길고 좁은 말풍선은 가로쓰기 영어에 가장 어려운 경우입니다.

RuneManga가 지금 하는 방식

• 각 페이지에서 텍스트를 찾아 읽습니다. 일본어는 만화용으로 만든 인식 모델을 쓰고, 한국어와 중국어도 지원하지만 인식 품질은 아직 개선 중입니다.
• 번역은 만화와 웹툰 대사에 맞춰 만든 자체 AI 번역기 RuneLingua가 맡습니다.
• 원래 글자를 지우고 그 아래 배경을 채운 뒤, 번역문을 같은 말풍선에 넣습니다.
• 번역 서비스로 가는 것은 페이지에서 찾은 텍스트뿐이며, 이미지는 보내지 않습니다.

아직 부족한 점

• 내레이션 박스나 그림 위에 쓴 글자처럼 말풍선 밖의 텍스트는 아직 번역되지 않습니다.
• 효과음은 그림 안에 그려져 있어서 아직 번역되지 않습니다.
• 세로쓰기, 장식적인 글꼴, 아주 작거나 흐린 글자는 읽기가 가장 어려운 경우입니다.
• 아주 긴 번역문을 아주 작은 말풍선에 넣으면, 맞추려고 글자를 줄이기 때문에 작게 나옵니다.

자주 묻는 질문

• RuneManga란? 만화와 웹툰을 위한 번역기
• RuneManga가 페이지의 일부 글자를 놓치는 이유
• 번역문이 말풍선에 맞지 않는 이유
• RuneLingua란?