AI漫画翻訳のしくみ
AI漫画翻訳は、吹き出しの検出、文字認識、翻訳、文字消し、写植の5工程で進みます。各工程でつまずきやすい点も解説します。
AI漫画翻訳は5つの工程で行われます。吹き出しと文字を見つけ、OCRで文字を読み取り、翻訳し、元の文字を消してその下の絵を描き直し、最後に翻訳文を吹き出しに写植します。各工程は別々のモデルやプログラムで、いちばん弱い工程が仕上がりの良し悪しを決めます。
工程1：吹き出しと文字を見つける
最初の仕事は、文字がどこにあるかを見つけることです。検出モデルがページを見て、吹き出し、ナレーションの枠、キャプション、ときには絵の上に直接書かれた文字のまわりに、四角や輪郭を引きます。文字だけでなく吹き出しを見つけることも同じくらい大切です。吹き出しは、あとで翻訳文を収める空間になるからです。
大きくてきれいなスキャンが役に立つのはこの工程のためです。薄い文字、小さい文字、傾いた文字は見落としやすく、一度も見つからなかった文字は翻訳もされません。
工程2：OCRで文字を読み取る
OCR（文字認識）は、各枠の中のピクセルをコンピューターが扱える文字に変えます。漫画は印刷された書類より難しい対象です。日本語は縦書きが多く、漢字の横にふりがなが小さく添えられ、フォントは装飾的で、背景は白無地ではなくスクリーントーンのことがあります。韓国語や中国語にも、細い線の違いしかない似た文字があるという別の難しさがあります。
OCRが文字を読み間違えると、翻訳エンジンはその間違った単語を忠実に翻訳します。「翻訳が悪い」ように見える結果の多くは、実は読み取りの失敗です。
工程3：テキストを翻訳する
認識されたテキストは機械翻訳エンジンに送られます。エンジンが見るのは文字だけで、絵は見ていないため、プログラムが渡さない限り、誰が話しているのかもページに何が描かれているのかも分かりません。AI翻訳と言うと多くの人がこの工程を思い浮かべますが、5つの工程のうちの1つにすぎません。スラング、冗談、敬称、短い感嘆の声は、機械翻訳がいちばん苦手とするところです。
工程4：元の文字を消す
新しい文字を入れる前に、古い文字を消さなければなりません。いちばん簡単な方法は、吹き出しに白い箱を重ねることです。真っ白な吹き出しならそれで済みますが、それ以外の場所では不自然になります。より良い方法がインペイントで、消した部分の周囲の模様を延長するようにモデルが埋めるため、穴ではなく、スクリーントーンやグラデーション、背景の線が戻ってきます。
工程5：翻訳文を写植する
写植とは、翻訳された文字を吹き出しの中に、読みやすい大きさで、形に合う行の長さに折り返して配置することです。英語など日本語より長くなる言語が多いので、プログラムは収まるまで文字を縮め、単語を不自然な位置で切らないようにする必要があります。縦書きの日本語用に描かれた縦に細長い吹き出しは、横書きの英語にとって最も難しいケースです。
RuneMangaの現在のやり方
- 各ページでテキストを見つけて読み取ります。日本語には漫画向けに作られた読み取りモデルを使います。韓国語と中国語にも対応していますが、認識精度は改善中です。
- 翻訳は、漫画・マンファのセリフ向けに作った独自のAI翻訳、RuneLinguaで行います。
- 元の書き文字を消して下の背景を埋め、訳文を同じ吹き出しに入れます。
- 翻訳サービスに送られるのはページで見つかったテキストだけで、画像は送られません。
まだ苦手なこと
- ナレーションの枠や絵の上の文字など、吹き出しの外のテキストはまだ翻訳されません。
- 効果音は絵の中に描かれていて、まだ翻訳されません。
- 縦書き、装飾的なフォント、とても小さい文字やぼやけた文字は、読み取りがいちばん難しいケースです。
- とても長い翻訳をとても小さい吹き出しに入れると、収めるために縮めるので文字が小さくなります。
RuneMangaはベータ版で、機械翻訳には誤りが含まれることがあります。翻訳されたページは、公式版ではなく、読むための補助としてお使いください。
よくある質問
AI漫画翻訳はGoogle 翻訳と同じものですか？
いいえ。Google 翻訳が担当するのは工程3の訳文だけです。漫画翻訳ツールは、文字を見つけ、読み取り、消し、翻訳を吹き出しに戻すところまで行います。RuneMangaは訳文に、独自のAI翻訳であるRuneLinguaを使っています。
AIが訳を間違えることがあるのはなぜですか？
工程2で文字を読み間違えたか、工程3でエンジンに文脈が足りなかったかのどちらかです。前者は大きくてきれいな画像で改善できます。後者は機械翻訳の限界です。
AIはページ全体を見ていますか？
検出と消去のステップにはページ画像が必要なので、RuneManga自身のサーバーで動きます。翻訳サービスに送るのは抽出したテキストだけです。
カラーのページも翻訳できますか？
はい。「翻訳」はテキストだけを変えるので、カラーのマンファのページは色がそのまま残ります。