AI Dubbing은 업로드한 비디오의 원본 언어를 자동으로 인식하고, 이를 여러 언어로 번역한 뒤 자연스러운 더빙 오디오를 생성합니다. 필요에 따라 립싱크를 적용할 수도 있습니다.

이를 통해 발화의 명확성과 타이밍을 유지하면서, 글로벌 시청자에게 자연스럽고 몰입감 있는 시청 경험을 제공할 수 있습니다.

AI Dubbing을 최적의 품질로 사용하는 팁

AI Dubbing으로 비디오를 더빙할 때, 업로드 전에 아래 사항을 참고하면 더 좋은 결과를 얻을 수 있습니다.

(특히 립싱크를 사용하는 경우에 더욱 도움이 됩니다.)

✅ 권장 사항 (Recommended)

얼굴이 명확하게 보이는 영상을 사용하세요. 약간의 측면 각도는 괜찮습니다.
눈, 코, 입, 눈썹 등 주요 얼굴 특징이 마이크, 손, 로고, 자막 등에 가려지지 않도록 해주세요.
정확한 립싱크를 위해 얼굴이 잘 보이는 클로즈업 샷이 가장 좋습니다.
조명이 고르게 비치도록 하고, 과도하게 밝은 조명이나 강한 그림자는 피하세요.
한 번에 한 명의 화자만 말하는 영상이 가장 좋은 결과를 제공합니다.

❌ 피해야 할 사항 (Avoid)

얼굴이 대부분 측면이거나 일부만 보이는 영상
배경 소음이 많은 영상
여러 명이 동시에 말하는 영상
장면 전환이 잦거나 카메라 움직임이 많은 영상

참고: AI Dubbing과 AI Studios의 Video Translation은 서로 다른 기능입니다.

AI 더빙: AI Studios 외부에서 제작된 비디오(촬영 영상 등)를 번역하고 더빙하는 기능입니다.
비디오 번역: AI Studios의 AI 아바타로 제작된 비디오를 번역하는 기능입니다.

AI Studios에서 생성한 비디오를 번역하는 방법에 대해서는 이 가이드를 참고하세요.

AI Studios에서 비디오 더빙하는 방법

Step 1: AI Dubbing으로 이동하기

AI Studios 대시보드에서 For You 섹션 또는 기능 메뉴의 Social Media 탭에서 AI Dubbing을 찾을 수 있습니다. 또는 이 링크를 통해 바로 이동할 수 있습니다.

Step 2: 더빙 유형 선택하기

비디오 콘텐츠에 맞는 더빙 유형을 선택하세요.

Video Dubbing
립싱크가 포함된 더빙 비디오를 생성합니다. 화면에 화자가 등장하는 영상에 적합합니다.
Audio Dubbing
립싱크 없이 음성 더빙만 적용합니다. B-roll, 슬라이드, 애니메이션, 오프스크린 내레이션에 적합합니다.

유형을 선택한 후 Next를 클릭해 다음 단계로 진행하세요.

Step 3: 비디오 업로드하기

더빙할 비디오 파일을 드래그 앤 드롭하거나 업로드 버튼을 클릭해 파일을 선택하세요. 지원되는 파일 형식은 MP4, MOV, WEBM이며, 최대 파일 크기는 5GB입니다.

플랜별 업로드 길이 제한

Free: 최대 3분 길이의 비디오
Personal: 최대 30분 길이의 비디오
Team Plan: 최대 60분 길이의 비디오

업로드 가능한 길이를 초과하는 경우, 플랜 업그레이드가 필요합니다.

또한 YouTube 링크를 복사해 바로 사용할 수도 있습니다. Upload via URL 탭을 선택한 뒤 링크를 붙여넣으세요. URL을 통해 업로드하는 경우에도 플랜별 비디오 길이 제한은 동일하게 적용됩니다.

Step 4: 더빙 설정 구성하기

비디오가 어떻게 더빙될지 결정하기 위해 아래 설정을 구성하세요.

원본 언어 (Original Language): 업로드한 비디오에서 사용된 원본 음성 언어를 선택하세요. 이 설정은 음성 인식과 번역 정확도를 높이는 데 사용됩니다.
번역 언어 (Target Language(s)): 더빙할 번역 언어를 선택하세요.
- Free 플랜: 번역 언어 1개만 선택 가능
- Personal 플랜 이상: 여러 언어를 동시에 선택할 수 있습니다.
선택한 각 언어마다 별도의 더빙 비디오가 생성됩니다.
화자 수 (Number of Speakers) : 비디오에 등장하는 화자의 수를 지정하세요. 이 설정은 화자 구분과 음성 처리 정확도를 개선하는 데 도움이 됩니다.

자막 파일 업로드 (SRT / ASS)

Personal 플랜 이상에서는 SRT 또는 ASS 자막 파일을 업로드할 수 있습니다. 자막 파일을 업로드하면 번역 정확도가 향상되고, 발화 타이밍이 더 자연스럽게 맞춰지며 더빙 생성 속도도 개선됩니다. AI Dubbing은 업로드한 자막의 텍스트와 타임스탬프를 기반으로 음성을 생성합니다.

Step 5: 더빙 옵션 선택하기 (선택 사항)

더빙된 비디오의 최종 결과물을 설정하기 위해 아래 옵션을 선택할 수 있습니다.

AI 고품질 립싱크 적용(AI Premium Lip-Sync): 더빙된 음성에 맞춰 입 모양을 자동으로 동기화하여 화면 속 화자가 실제로 말하는 것처럼 자연스러운 결과를 생성합니다. (해당 기능을 선택하지 않으면, 립싱크를 적용하지 않고 번역된 음성 더빙만 생성합니다.)
자동 길이 조절(Dynamic Duration): 번역된 음성의 길이에 맞춰 비디오 재생 시간을 자동으로 조정합니다. 이를 통해 음성과 화면의 타이밍을 더 자연스럽게 맞출 수 있습니다.
자막 추가(Add Subtitles): 선택한 번역 언어를 기준으로 자동 자막을 생성하여 더빙된 비디오에 함께 적용합니다.
BGM 제거(Remove BGM): 배경 음악과 불필요한 소음을 제거해 더빙된 음성이 더 또렷하게 들리도록 합니다.

참고: 이 단계에서 선택한 옵션, 특히 AI 고품질 립싱크(AI Premium Lip-Sync) 적용 여부에 따라 이후 AI 더빙 시간 사용량 및 생성형 크레딧 차감 방식이 달라질 수 있습니다.

Step 6: 번역 검수 및 내보내기

더빙 설정을 모두 완료했다면, 결과를 검토한 뒤 비디오를 내보낼 수 있습니다.

더빙 비디오 생성 및 내보내기 (Export)

AI Dubbing은 먼저 월 기본 제공 AI 더빙 시간을 사용합니다. 월 제공 시간이 모두 소진된 경우, 생성형 크레딧이 자동으로 차감됩니다.

플랜별 월 기본 제공 AI 더빙 시간

Free: 월 3분
Personal: 월 120분
Team Plan: 월 240분
Enterprise Plan: 월 제공 시간 제한 없음 (계약 조건에 따름)

참고

월간/연간 요금제 동일 적용: 월 기본 제공 AI 더빙 시간은 월간 요금제와 연간 요금제 모두 동일하며, 결제 주기와 관계없이 매월 초기화됩니다.
팀 플랜 제공 기준: 팀 플랜의 월 기본 제공 AI 더빙 시간은 좌석(Seat) 수와 무관하게 팀 단위로 제공됩니다. 좌석을 추가하더라도 기본 제공 더빙 시간은 증가하지 않습니다.

월 제공 시간 초과 시 생성형 크레딧 차감 기준

월 기본 제공 AI 더빙 시간을 모두 사용한 경우, 선택한 옵션에 따라 생성형 크레딧이 차감됩니다.

AI Premium Lip-Sync 사용 시: 분당 3 크레딧
Voice-Only Dubbing (립싱크 미사용): 분당 1.5 크레딧

차감되는 크레딧은 최종 생성된 비디오 길이를 기준으로 계산됩니다.

번역 검수 (Proofread)

팀 플랜 이상에서는 번역 검수(Proofread) 기능을 사용해 내보내기 전에 번역된 스크립트를 직접 확인하고 수정할 수 있습니다. 이 기능을 통해 번역 문구를 다듬고, 발화 타이밍과 화자 구분을 확인하며 더 정확한 더빙 결과를 만들 수 있습니다. 기능의 자세한 사용 방법은 이 가이드를 참고하세요.

FAQ

1. 더빙 비디오가 생성되지 않는 이유는 무엇인가요?

더빙 비디오가 정상적으로 생성되지 않는 경우, 다음과 같은 원인이 있을 수 있습니다.

얼굴 인식 문제: 영상에서 화자의 얼굴이 충분히 보이지 않는 경우
- 해결 방법: 얼굴이 가려지지 않고 명확하게 보이는 영상을 사용하세요.
이용 약관 위반: 업로드한 콘텐츠가 AI Studios 이용 약관을 위반한 경우
- 해결 방법: 이용 약관을 확인하고 콘텐츠가 정책에 부합하는지 검토하세요.
지원되지 않는 영상 형식: 지원되지 않는 파일 형식 또는 인코딩 문제
- 해결 방법: MP4, MOV, WEBM 형식의 표준 인코딩 파일을 사용하세요.
파일 문제: 코덱 오류가 있거나 비밀번호로 보호된 파일인 경우
- 해결 방법: HandBrake와 같은 도구로 파일을 다시 인코딩하거나 비밀번호를 제거하세요.

문제가 계속 발생한다면, 고객 지원팀에 문의를 통해 도움을 받으실 수 있습니다.

2. 더빙 비디오의 립싱크가 부자연스러운 이유는 무엇인가요?

립싱크 품질은 영상 환경에 따라 영향을 받을 수 있습니다. 주요 원인은 다음과 같습니다.

영상 화질이 낮은 경우: 흐리거나 노이즈가 많은 영상은 입 모양 인식이 어렵습니다.
→ 얼굴이 선명하게 보이는 고화질 영상을 사용하세요.
수염 또는 콧수염: 입 주변 윤곽 인식에 영향을 줄 수 있습니다.
→ 가능하다면 수염을 정리한 상태로 촬영하세요.
얼굴 가림 현상: 손, 물체, 마이크 등이 입 주변을 가리는 경우
→ 얼굴을 가리지 않도록 촬영하세요.
조명이 고르지 않은 경우: 강한 그림자나 어두운 조명 환경
→ 얼굴 전체에 고르게 조명이 비치도록 촬영하세요.
과도한 얼굴 각도 또는 움직임: 얼굴이 지나치게 기울어지거나 빠르게 움직이는 경우
→ 자연스러운 각도와 최소한의 움직임을 유지하세요.

3. 비디오가 업로드되지 않는 이유는 무엇인가요?

대부분의 업로드 문제는 플랜별 제한과 관련이 있습니다.

비디오 길이가 플랜 제한을 초과한 경우
- Free: 최대 3분
- Personal: 최대 30분
- Team Plan: 최대 60분
- 해결 방법: 비디오를 분할하거나 더 짧게 편집하거나, 플랜을 업그레이드 하세요.
지원되지 않는 파일 형식 또는 용량 초과
- 해결 방법: MP4, MOV, WEBM 형식인지 확인하고 파일 크기를 점검하세요.

문제가 계속 발생하면 설정을 다시 확인한 후 재시도하거나, 고객 지원팀에 문의를 통해 도움을 받으실 수 있습니다.

4. AI Dubbing 처리에는 얼마나 시간이 걸리나요?

AI Dubbing 처리 시간은 다음 요소에 따라 달라질 수 있습니다.

사용 중인 요금제
비디오 길이 및 해상도
영상에서의 화자 수
립싱크 사용 여부
영상 내 장면 전환이 많거나 화자 전환이 잦은 경우

장면 전환이나 화자 변경이 잦은 영상은 음성·타이밍·시각 정보를 더 정밀하게 분석해야 하므로 처리 시간이 더 걸릴 수 있습니다. 일반적으로 수 분에서 수 시간 내에 완료되며, 복잡한 영상의 경우 더 오래 걸릴 수 있습니다.

처리가 지연되는 경우, 최대 24시간 정도 기다린 후 고객 지원팀에 문의하시길 권장드립니다.

AI Dubbing은 지속적으로 성능을 개선하고 있습니다.

5. AI Dubbing 요금은 어떻게 적용되나요?

AI Dubbing은 Free, Personal, Team, Enterprise 플랜에서 사용할 수 있습니다.

월 기본 제공 AI 더빙 시간

대부분의 플랜에는 월 기본 제공 AI 더빙 시간이 포함되어 있으며, 더빙 비디오를 생성할 때 해당 시간이 우선적으로 사용됩니다. 월 기본 제공 시간은 매월 초기화됩니다.

Free: 월 3분
Personal: 월 120분
Team Plan: 월 240분
Enterprise Plan: Enterprise 플랜은 월 AI 더빙 시간 제한이 없습니다. (사용 조건은 계약 내용에 따라 별도로 정의됩니다.)

월 제공 시간 초과 시 크레딧 차감

월 기본 제공 AI 더빙 시간을 모두 사용한 경우, 선택한 옵션에 따라 생성형 크레딧이 자동으로 차감됩니다.

AI Premium Lip-Sync 사용 시: 분당 3 크레딧
Voice-Only Dubbing (립싱크 미사용): 분당 1.5 크레딧