メインコンテンツにスキップ

AI吹き替えで動画を吹き替えるには?

AI吹き替えは、音声と唇の動きを同期させて動画を複数の言語に翻訳します。より良い結果を得る方法を紹介します。

E
対応者:Eric Seyoung Jang

このヘルプドキュメントの内容

AI吹き替えは、動画内の音声を他の言語に翻訳して吹き替えます。必要に応じてリップシンクも適用できます。このドキュメントでは、吹き替えタイプの選び方、動画のアップロード、言語とオプションの選択、吹き替え動画のエクスポート方法を説明します。

注:AI吹き替えは、自分で撮影した動画など、AI Studios以外で作成した動画向けの機能です。AI Studiosのエディターで作成した動画を翻訳するには、動画翻訳 (Video Translation) を使用してください。


吹き替えタイプを選ぶ

吹き替えを始めるには:

  1. ダッシュボードのクイックスタートの下にあるAI吹き替えをクリックします。

  2. ビデオダビングまたはオーディオダビングを選びます。

  3. 次をクリックします。

ダッシュボードからAI吹き替えを開き、吹き替えタイプを選んでいる様子
  • ビデオダビング: AIリップシンク付きの完全な吹き替え動画を生成します。話者が画面に映っていて、表情が重要な場合に使います。

  • オーディオダビング: リップシンクなしで翻訳したナレーションを追加します。Bロール、スライド、アニメーション、チュートリアルなど、口元が画面に映らない動画に使います。

動画をアップロードする

動画をアップロードするには:

  1. 動画をアップロードエリアにドラッグするか、エリアをクリックしてファイルを選びます。5 GBまでのMP4、MOV、WEBMファイルに対応しています。

  2. YouTube動画を使う場合は、URL経由でアップロードをクリックしてリンクを貼り付けます。

  3. AIアフレコのヒントをクリックすると、吹き替えに適した動画の条件を確認できます。

URL経由でアップロードに切り替え、動画ファイルをアップロードし、吹き替えのヒントを開いている様子

アップロードできる動画の長さはプランによって異なります。Freeは最大3分、Personalは30分、Teamプランは60分です。URLで追加した動画にも同じ上限が適用されます。

言語とオプションを選ぶ

吹き替えを設定するには:

  1. 原本の言語はAuto Detectに設定されています。話されている言語を自分で指定したい場合は変更します。

  2. 対象言語をクリックし、吹き替え先の言語を選びます。複数の言語に一度に吹き替えるには、横にある+ボタンをクリックします。

  3. 自分の字幕のタイミングとテキストを使うには、言語の横にあるSRT をアップロードするをクリックします。

  4. 発音や翻訳のルールを適用するには、ブランド辞書でルールを選びます。

対象言語を選び、ブランド辞書と詳細オプションを確認している様子

詳細オプションには次の項目もあります:

  • AIプレミアムリップシンク: 唇の動きを翻訳後の音声に合わせます。音声だけを吹き替える場合はオフにします。

  • ダイナミック再生時間: 自然な翻訳になるようにタイミングを調整します。動画が元の長さより長くなったり短くなったりすることがあります。

  • 字幕を追加: 対象言語の字幕を動画に追加します。

  • BGMを削除: 背景音楽を取り除いてノイズを減らし、吹き替え音声を聞き取りやすくします。

注:Freeプランでは対象言語を1つ選べます。Personal以上のプランでは、複数の言語を同時に選べます。SRTファイルのアップロードはPersonal以上のプランで利用できます。

吹き替え動画をエクスポートする

エクスポートするには:

  1. 先に翻訳されたスクリプトを確認・編集するには、翻訳確認をクリックします。翻訳確認はTeamプラン以上で利用できます。

  2. それ以外の場合は、Exportをクリックします。

  3. 概要を確認します。予想される動画の長さ、動画の合計数、必要なクレジット、残りのクレジットが表示されます。Exportをクリックして開始するか、前のをクリックして戻ります。

エクスポート前の翻訳確認ボタン、Exportボタン、クレジットの概要

吹き替えが完了すると、吹き替え動画がダッシュボードのプロジェクト一覧に表示されます。

より良い結果を得るために

次のヒントは、特にリップシンクを使う場合に重要です:

  • 話者の顔がはっきり映り、ピントが合っている動画を使います。少し斜めの角度であれば問題ありません。

  • 目、鼻、口、眉にマイク、手、ロゴ、字幕がかからないようにします。

  • 顔のクローズアップが最も適しています。

  • 明るすぎる照明や濃い影のない均一な照明を使い、カメラを固定します。

  • 背景のノイズや音楽が少なく、はっきりした話し方で、一度に1人だけが話すようにします。

  • 横顔が多い映像、複数の人が同時に話す映像、シーンの切り替えやカメラの動きが多い映像は避けます。

アップロードする動画の権利を持っていることを確認してください。


よくある質問

吹き替え動画が生成されないのはなぜですか?
話者の顔がはっきり映っているか、内容がAI Studiosの利用規約に沿っているか、ファイルが標準的なMP4、MOV、WEBMかを確認してください。コーデックエラーのあるファイルやパスワードで保護されたファイルは失敗することがあります。HandBrakeなどで動画を再エンコードし、パスワードを解除してください。それでも失敗する場合は、サポートにお問い合わせください。

リップシンクが正確でないのはなぜですか?
ぼやけた映像、ひげ、口元付近の手や物、不均一な照明、急な角度、速い頭の動きがあると、唇の追跡が難しくなります。顔が自然な角度で映った、明るく鮮明な動画を使ってください。

動画がアップロードできないのはなぜですか?
動画がプランの上限より長いか、ファイルが非対応の形式であるか、サイズが大きすぎる可能性があります。動画をトリミングするかプランをアップグレードし、5 GB未満のMP4、MOV、WEBMファイルを使ってください。

アップロード時に音声がないと表示されます。どうすればよいですか?
AI吹き替えには、吹き替える音声トラックが必要です。音声を含むバージョンの動画をアップロードしてください。

吹き替えにはどのくらい時間がかかりますか?
プラン、動画の長さと解像度、話者の数、シーンの切り替え、リップシンクのオン・オフによって異なります。ほとんどの吹き替えは数分から数時間で完了します。24時間経っても処理中のままの場合は、サポートにお問い合わせください。

AI吹き替えの料金はどのように計算されますか?
Free、Personal、Teamプランには、毎月のAI吹き替え時間が含まれています。Freeは3分、Personalは120分、Teamプランはチームあたり240分です。月額プランと年額プランのどちらも、毎月リセットされます。使い切った後は、最終的な動画の長さとリップシンクのオン・オフに応じて生成クレジットが使われます。必要なクレジットはエクスポート前の概要に表示されます。毎月の時間がリセットされる前に吹き替えを続けたい場合は、請求ページで追加の生成クレジットをアドオンとして購入できます。Enterpriseの利用条件は契約で定められます。

スマートフォンでAI吹き替えを使えますか?
一部のモバイルデバイスではAI吹き替えが動作しない場合があります。パソコンで使用してください。

関連記事

こちらの回答で解決しましたか?