Seedanceで動画を丸ごと翻訳する仮説

革命的なアイデアを思いついた。日本でヒットしている動画をSeedanceに入れ、動画の中のテキストと音声を全部英語や中国語に変えられれば、国ごとに翻訳や編集をしなくても世界展開できるんじゃないか、という仮説だ。

まだ試していないから、本当にうまくいくかはわからない。ただ、原理的、論理的、合理的に考えると可能なんじゃないかと思った。今やっていることが片付いたら、まず一回、仮説検証してみたい。

国ごとの翻訳はスケールしない

最近、YouTubeのショート動画を世界展開する方法をいろいろ考えている。これまで俺がやろうとしていたのは、動画を翻訳し、編集し、テロップも翻訳して海外仕様にする方法だった。

でも、これでは翻訳する国ごとに動画の数が増える。俺の作業がどんどん重たくなるから、スケールしない。ここを改善したいと思っていた。

そこで思いついたのが、TikTokの親会社が出している動画生成AIのSeedanceを使う方法だ。Seedanceはマルチモーダルで、画像とプロンプトから動画を生成するだけでなく、動画と人物の画像を入れて人物を入れ替えたり、モーションキャプチャーの3Dモーションをキャラクターへ置き換えたりできる。

だったら、日本でヒットしている動画をそのまま入れて、「この動画の中のテキストと音声を全部英語にしてください」「全部中国語にしてください」と指示するだけで、動画ごと海外仕様にできるんじゃないか。マルチモーダルAIなら、ワンチャンあると思った。

これが成功すれば、一つの動画をそのまま世界展開できる。国ごとに人間が翻訳と編集を繰り返す必要がなくなる。

一方で、この方法に多くの人が気づき、実際にうまくいったら、動画市場やコンテンツ市場はものすごくコモディティ化すると思う。YouTubeやInstagramのようなプラットフォームには、世界中から同じような加工動画が一気に流れ込む。動画市場そのものが崩壊するんじゃないかと危惧している。

今は、みんなプロンプトや架空のキャラクターを作り、新しいものを生み出そうとしている。でも、既存の動画を丸ごと別の言語へ変換できるなら、そもそも新しく撮影する必要がなくなる。動画を撮影している人が馬鹿を見る状態になるかもしれない。

もちろん、本当に機能するのであれば、という話だ。まだやってみていないから、わからない。

これができるなら、既存の動画を全部翻訳するサービスを作り、依頼を受けて海外仕様の動画を渡すことができる。逆に、俺自身が日本のコンテンツを海外向けに加工し、そのまま配信することもできる。そこはグレーなんだけど、技術的には可能になると思う。

うまくいった場合、このやり方に気づかれたらすぐに真似されて、勝てなくなる。今、こういうことをやろうとしている人は絶対にいないと思う。だからまず一回試し、仮説が当たったら一気に走ろうと思っている。