用語集
吹き出し検出
吹き出し検出は、コミックのページにある吹き出しやテキストボックスを、たいていは画像モデルが一つひとつの周囲に輪郭を引いて見つける処理です。漫画翻訳ツールは、セリフの位置と翻訳に使える空間の広さを知るために必要とします。
何が検出されるか
吹き出し検出は、ページ上でセリフが書かれている場所に印を付けます。検出モデルはページ全体を見て、吹き出し、思考の吹き出し、ナレーションの枠、キャプションに印を付けます。ウェブトゥーンによくある、絵の上に直接書かれた文字も見つけるモデルもあります。検出された領域は、文字認識へ渡されます。
吹き出しが重要な理由
吹き出しには2つの役割があります。言葉の位置をプログラムに教えることと、あとで翻訳を収める空間を決めることです。吹き出しの輪郭がなければ、プログラムは新しい文字をどこまで大きくしたり折り返したりできるのか分かりません。
検出と読む順序
吹き出しが見つかったら、文脈が正しく伝わるように、順番も付ける必要があります。日本の漫画は右から左、上から下へ読みますが、マンファと多くのマンフアは左から右へ読みます。吹き出しはそれぞれその場所で翻訳されるので、ページは本来の読む順序のまま保たれます。
検出が失敗する場面
- 薄い文字、小さい文字、ひどく圧縮された文字。
- 変わった形、または輪郭のない吹き出し。
- 吹き出しの外のテキスト。多くのツールが苦手にしています。
- 切り取られたり、つなぎ合わされたりしたページ。
RuneMangaでの扱い
RuneMangaは、各ページの吹き出しを見つけてから、読み取りと翻訳を行います。ナレーションの枠や絵の上の文字など、吹き出しの外のテキストはまだ翻訳されず、効果音も同様です。吹き出しが欠けていない、大きくてきれいなスキャンが、検出にとっていちばんよい条件です。
よくある問題と対処
- 吹き出しがまるごと飛ばされる：画像の端で切れていないか確認し、より大きなスキャンを試してください。
- くっついたり重なったりした吹き出しは分けにくい：各セリフが正しい吹き出しに入っているか確認してください。
- 絵の上の文字がそのまま：吹き出しの外の文字はまだ対象外という既知の制限で、検出の不具合ではありません。
関連用語
検出は最初の工程です。OCRが見つかった文字を読み、機械翻訳が言語を変え、写植が吹き出しの輪郭を使って結果を収めます。
ナレーションの枠が翻訳されないのはなぜですか？
RuneMangaが現在扱うのは、吹き出しの中のテキストです。ナレーションの枠や絵の上の文字は、次に取り組んでいる部分です。
読む向きによって検出は変わりますか？
変わりません。吹き出しはどのページでも同じ方法で見つけられ、それぞれがその場所で翻訳されます。