スクロールしながらウェブトゥーンや漫画を翻訳する
一話は何十枚もの別々の画像に分かれていて、一つずつ選ぶのは現実的ではありません。ライブモードは画面にあるものを読み取り、訳文を元の写植の上に重ね、吹き出しが現れるたびに読み上げます。
一つの吹き出しに、一つの文
文字認識は一行ごとに枠を返します。その行を別々に翻訳することこそ、たいていの試みを台無しにする原因です。ひとつの台詞が、つながりのない四つの断片になって返ってきます。Caliptic は翻訳の前に吹き出しの各行をひとつの文にまとめます。その判断に使うのは文字の高さではなく行の間隔です。同じ級数でも下に伸びる字があると高さは変わり、まさにそれが吹き出しを途中で断ち切っていました。中央揃えの写植も検出するので、訳文は元と同じように吹き出しの中央に収まります。
スクロールしてください。ついてきます
何も選びません。ライブモードをオンにして、いつものように読むだけです。新しいコマが視界に入るたびに認識され、翻訳され、訳文で覆われ、各ブロックは見えた時点で読み上げられます。音声は完全に切れます——訳文は出続けるので、人のいる場所ではむしろこちらが要るはずです。読む順序はウェブトゥーンの縦の流れに従います。
うまくいかないところ
これは光学認識なので、装飾された効果音や手書きの文字は読めたり読めなかったりします。日本の漫画のような右から左へのコマ順はまだ扱えません。縦スクロールのウェブトゥーンは扱えます。そして人の手による翻訳には及びません——誰も訳していない作品のため、そして先を読むためのものです。画像の翻訳には拡張機能に加えて無料の macOS アプリが要ります。文字だけのページはそれなしで、どのプラットフォームでも動きます。
訳文は元の文字を覆いますか、それとも横に並びますか。
覆います。サイドパネルはコマから目を離させ、読みの流れを断ち切ります。漫画ではそれで意味がなくなります。訳文は元の写植の上に、その寸法で不透明なブロックとして描かれます。訳文が長くなれば、文字を切り詰めるのではなくブロックが下に伸びます。
ページを読むとき、何かがアップロードされますか。
いいえ。取り込んだ範囲はメモリ上で切り取られ、あなたのパソコンで認識され、そのまま破棄されます。拡張機能がディスクに書くことも、どこかへ送ることもありません。翻訳はブラウザのローカルモデルを使い、音声はローカルのシステム音声です。