動画の多言語展開で試した2つの方法

昨日か一昨日、俺のショート動画のフォーマットは強いから、それをそのまま海外の言語へ翻訳して展開する方法を考えていた。

Seedanceで動画ごと変える

最初に立てた仮説は、ByteDanceの動画生成モデル「Seedance」を使う方法だった。参照動画から人物を入れ替えるなど、新しい動画へ改変するアプローチを他の人がやっていて、結構使えそうに見えた。それなら俺の動画はそのままに、テキストやテロップだけを全部英語へ変えれば、海外展開できるんじゃないかと思った。

今日、DreaminaでSeedanceを使って仮説検証してみた。結論から言うと、できるのはできる。ただ、まだコスパが悪い。

動画を1本翻訳するだけで、1,300〜1,500円ちょっとかかる。1本1,500円なら、10本作ったら1万円を超える。俺は普段、動画1本あたりの経費をほとんどかけていない。動画編集ソフトではなく、使いやすいからCanvaで作っているし、それも年間で数千円くらいだ。

それを考えると、さすがにコスパが悪すぎる。成果物の質が高ければまだいいけど、そこまで高くなく、ちょっとしたミスもあった。おそらく最初から完全にAIで生成することを想定したモデルで、既存動画の加工や編集には正直きつい。できるけど、これは最適解じゃないと思ったから、このアプローチはやめることにした。

テロップだけ翻訳する

次に、動画内のテロップだけを翻訳するツールがあるのか調べた。良さそうなものが2つあり、1つは精度が悪くて日本語に対応していなかったけど、もう1つは日本語に対応していた。

画像内のテキストやテロップだけを翻訳する機能で、おそらくOCRで画像を解析し、元のテキスト部分を背景になじませ、その上から翻訳したテキストを入れている。これは結構安いし、使えるなと思った。

合成した部分の背景が少し歪むことはあるけど、普通に見る分にはそこまで気にならない。当分はこれを使ってみようと思う。実際にAIでできるとわかれば、いずれ自分の環境で動かすことも試してみたい。

今のところ、既存動画をマルチモーダルのAI動画生成モデルへ入れて多言語展開する方法は、俺の用途では性能とコストが合わない。一方、動画内のテキストだけを読み取り、そこだけ翻訳することは技術的にできるし、実際にツールもあった。

この方法なら、俺がいちいちもう一度編集する必要もなく、日本語で作ったものをそのままスケールできる。あとは海外の媒体へアップロードするだけだから、当分はこの戦略でいこうと思っている。