외국어 영상에우리말 자막과더빙 입히기

중급자용© AIKOREACLUB

Huanshere/VideoLingo

외국어 영상에 우리말 자막과 더빙 입히기

유튜브 링크나 영상 파일을 넣으면 받아쓰기, 번역, 자막 자르기, 시간 맞추기에 더빙까지 차례로 해 주는 무료 오픈소스예요

★ 19,048앱(웹 화면) + 내 컴퓨터용 API · Apache-2.0확인 2026-11-03

해외 강의나 인터뷰를 보다가 자동 번역 자막을 켜면 이런 일이 생기죠. 한 화면에 세 줄이 꽉 차고, 말은 끝났는데 자막이 남아 있고, 같은 용어가 문장마다 다르게 번역돼 있어요.비디오링고는 번역 자체보다 자막을 자르고 시간에 맞추는 일에 공을 들인 오픈소스예요. 단어마다 시간을 잡고, 뜻 단위로 문장을 나누고, 용어표를 먼저 만든 뒤 번역해요. 원하면 그 자막을 읽는 더빙까지 붙이고요. 2026-11-03 기준 별 1만 9천 개, 9월 27일에 3.1.1 버전이 나왔어요.

자동 자막이 보기 불편한 세 가지 이유

흔한 자동 자막

오늘은 어텐션이 왜 요즘 AI의 핵심인지, 그리고 그것이 실제로 속에서 어떻게 돌아가는지를 예시와 함께 차근차근 보여 드리려고 합니다

문장 하나를 통째로 번역해 한 장에 넣으면 화면 아래가 글자로 덮여요. 읽다 보면 다음 장면이 지나가죠.

위 무늬는 말소리, 아래 막대는 자막이 떠 있는 시간

말이 시작된 뒤에야 자막이 뜨고, 말이 끝나도 남아 있어요.

1분: 이 주의 메커니즘이 핵심이에요
4분: 관심을 어디에 둘지 계산해요
9분: 그래서 집중 점수가 높아지죠

문장마다 따로 번역하면 attention 한 단어가 주의, 관심, 집중으로 바뀌어요. 보는 사람은 다른 개념인 줄 알아요.

비디오링고 방식

뜻 단위로 나눈 뒤 한 줄 길이 제한(기본 75자)에 맞춰 잘라요. 원문을 작게 위에 두는 이중 자막이 기본값이에요.

단어마다 시간을 잡아 자막을 말소리에 붙여요

받아쓴 단어 하나하나에 시작과 끝 시간을 붙이고, 자른 자막을 그 시간에 다시 맞춰요.

용어표 · attention → 어텐션

1분: 이 어텐션 구조가 핵심이에요
4분: 어텐션을 어디에 둘지 계산해요
9분: 그래서 어텐션 점수가 높아지죠

번역 전에 영상 전체를 요약하며 용어표를 만들어요. 번역 전에 멈추게 해서 표를 직접 고칠 수도 있어요.

자막에서 흔히 겪는 문제를 보여 주려고 저희가 그린 예시예요. 왼쪽은 특정 서비스를 가리키지 않고, 오른쪽은 비디오링고 문서에 적힌 처리 방식을 단순하게 그린 거예요. 실제 결과는 원본 음성, 언어, 고른 AI 모델에 따라 달라져요.

한눈에

무엇인가요

비디오링고는 음성 인식, 자막 번역, 문장 나누기, 더빙을 한 화면(Streamlit)에 묶은 도구예요. 결과로 자막 파일(SRT)이 나오고, 원하면 자막을 입힌 영상이나 더빙한 영상도 만들어요.자막을 읽기 좋게 잘라요. 받아쓴 글을 먼저 문장부호와 접속사로 나누고, AI가 뜻 단위로 한 번 더 나눠요. 그다음 한 줄 길이 제한에 맞춰 자막을 자르고 원래 말소리 시간에 다시 붙여요.번역 전에 용어표를 만들어요. 영상 전체를 요약하면서 전문 용어를 뽑아 두고, 내가 만든 용어 목록을 더할 수도 있어요. 그래서 같은 용어가 영상 끝까지 같은 말로 번역되게 해요.더빙은 고르기 나름이에요. Edge TTS, OpenAI, Fish Audio, GPT-SoVITS 같은 목소리 서비스를 고르면 자막 길이에 맞춰 말 속도를 조절해 원래 영상에 깔아요.

함께 쓰는 도구 · 유튜브 링크 · OpenAI 호환 AI 모델 · Edge TTS · Fish Audio · GPT-SoVITS

이런 분께

해외 강의나 인터뷰 영상을 팀원과 우리말 자막으로 보고 싶은 분
내가 찍은 영상을 다른 나라 말 자막과 더빙으로도 내고 싶은 크리에이터
자막 작업을 프로그램이나 에이전트로 자동화하고 싶은 개발자

어떻게 작동하나요

받아쓰기는 내 컴퓨터에서 해요. 기본값은 Qwen3-ASR로 받아쓰고 ForcedAligner로 단어마다 시간을 붙이는 방식이에요. 애플 실리콘 맥(macOS 14 이상)은 MLX로, 엔비디아 그래픽카드가 있으면 그걸로 돌리고, 둘 다 없으면 느리다고 문서가 적어요. 모델은 처음 쓸 때 수 GB를 내려받아요.번역은 AI 모델 API로 해요. OpenAI 방식 주소를 쓰는 서비스면 어디든 넣을 수 있는데, 여러 단계에서 정해진 JSON 형식으로 답해야 해서 약한 모델은 오류가 날 수 있다고 해요.사람이 끼어들 자리가 있어요. 설정에서 pause_before_translate 를 켜면 번역 전에 용어표(terminology.json)를, pause_after_translate 를 켜면 자막을 만들기 전에 번역 결과 표(translation_results.xlsx)를 고친 뒤 이어 갈 수 있어요. 용어표를 먼저 손보는 것이 영상 전체 번역을 고르게 만드는 가장 빠른 길이에요.받는 말은 대상 언어 칸에 적어요. 설정 파일 설명에 이 칸은 자연어로 적어도 된다고 나와 있어서, '한국어'라고 적으면 돼요.

할 수 있는 일

영상 받아 오기유튜브 링크를 넣으면 yt-dlp로 받고, 내 영상이나 음성 파일을 올려도 돼요

단어 단위 받아쓰기Qwen3-ASR로 받아쓰고 단어마다 시작과 끝 시간을 붙여요. 기본은 내 컴퓨터에서 돌려요

뜻 단위 문장 나누기문법 분석과 AI로 긴 문장을 자막 한 장에 맞게 나눠요

용어표와 다듬은 번역용어를 먼저 정리하고, 직역한 뒤 자연스럽게 다시 쓰는 두 단계로 번역해요

이중 자막 입히기원문과 번역을 함께, 또는 번역만 영상에 입혀요. 글꼴과 색도 설정해요

더빙고른 목소리로 번역문을 읽혀 길이에 맞게 속도를 조절하고, 분리해 둔 배경음 위에 합쳐요

바로 쓸 수 있나요

도구 연결 필요

필요한 것번역에 쓸 AI 모델 API 키(OpenAI 호환 방식). 받아쓰기를 내 컴퓨터에서 돌리므로 애플 실리콘 맥(macOS 14 이상)이나 엔비디아 그래픽카드가 있으면 좋아요. 그래픽카드 없는 윈도, 리눅스, 인텔 맥에서도 돌지만 느리다고 해요

비용저장소는 무료(Apache-2.0). 번역 AI 요금은 따로예요. Edge TTS 더빙은 별도 키가 없고, Fish Audio 같은 목소리 서비스는 쓴 만큼 요금이 나가요

시작하기

AI 에이전트에게 맡기기
컴퓨터를 다룰 수 있는 에이전트에게 README의 이 문장을 그대로 보내면 설치하고 켜 줘요.
```
Install and launch GitHub's Huanshere/VideoLingo on my computer.
```
윈도라면 더블클릭 설치
최신 Release에서 Source code (zip)를 받아 풀고 OneKeyStart.bat 을 더블클릭해요. 처음 한 번 uv, 파이썬 3.12, 필요한 부품, FFmpeg를 알아서 깔고 브라우저가 열려요. 창은 닫지 말고 두세요.
맥, 리눅스는 소스로 설치
다음에 켤 때도 VideoLingo 폴더에서 uv run start.py 를 다시 실행해요.
```
git clone https://github.com/Huanshere/VideoLingo.git && cd VideoLingo
uv run start.py
```
사이드바에 번역 AI 넣기
API 주소, 키, 모델 이름을 넣고, 받아쓸 언어(Recog Lang)와 대상 언어(Target Lang)를 정해요. 대상 언어 칸에는 '한국어'라고 적어요. 더빙을 할 거면 TTS 방식도 골라요.
자동화용 API(선택)
예전 엑셀 일괄 처리 대신 쓰는 내 컴퓨터용 HTTP API예요. 켠 뒤 localhost:8000/docs 에서 쓸 수 있는 요청을 볼 수 있어요. 한 번에 한 작업씩 처리해요.
```
uv run start.py --api
```

처음 해 볼 한마디

내 컴퓨터에 깃허브의 Huanshere/VideoLingo를 설치하고 실행해 줘

README 예시를 우리말로 옮긴 거예요. 에이전트에게는 영어 원문을 보내는 편이 안전해요. 켜진 뒤에는 화면 단추로 진행하는 앱이라 따로 외울 명령이 없어요.

영상 하나가 우리말 자막과 더빙이 되기까지

유튜브 링크를 넣거나 파일을 올려요

https://www.youtube.com/watch?v=...

또는 영상, 음성 파일을 여기에 끌어다 놓기

링크는 yt-dlp로 받아요. 받을 해상도 기본값은 1080이에요.

단어마다 시간을 붙여 받아써요

Qwen3-ASR로 받아쓰고 ForcedAligner로 단어별 시작 시간(초)을 찾아요

읽기 좋은 길이로 문장을 나눠요

먼저 문장부호, 쉼표, 접속사로 나누고, 그래도 길면 AI가 뜻이 끊기지 않는 자리를 골라요

Today I want to show you why attention is the most important idea in modern AI,| and how it actually works under the hood.

처음 자를 때 한 덩어리는 20단어 안팎을 기준으로 해요(설정 max_split_length).

영상 전체를 요약하고 용어표를 만들어요

요약 요즘 AI 모델이 문장 속 단어끼리 서로 얼마나 주목하는지 계산하는 원리를 설명하는 강의

attention	어텐션
transformer	트랜스포머
token	토큰

번역 전에 멈추게 하면 이 표(terminology.json)를 직접 고친 뒤 이어 가요.

먼저 충실하게, 다음에 자연스럽게

원문Today I want to show you why attention is the most important idea in modern AI,

직역오늘 저는 왜 어텐션이 현대 AI에서 가장 중요한 아이디어인지 여러분에게 보여 주고 싶습니다,

다듬기오늘은 어텐션이 왜 요즘 AI의 핵심인지

자막 길이에 맞게 자르고 시간에 다시 붙여요

1
00:00:00,420 --> 00:00:03,050
오늘은 어텐션이 왜 요즘 AI의 핵심인지

2
00:00:03,050 --> 00:00:05,900
속에서 실제로 어떻게 돌아가는지 보여 드릴게요

and how it actually works under the hood속에서 실제로 어떻게 돌아가는지 보여 드릴게요

자막 파일(SRT)은 원문, 번역, 원문과 번역 함께로 나오고, 영상에는 이중 자막이 기본으로 입혀져요.

자막을 읽혀 길이를 맞추고 배경음 위에 깔아요

오늘은 어텐션이 왜 요즘 AI의 핵심인지

더 빠르게

속에서 실제로 어떻게 돌아가는지 보여 드릴게요

더 빠르게

dub.wav+background.mp3+원래 영상=더빙 영상

흰 선이 자막에 주어진 시간이에요. 읽은 소리가 길면 속도를 조절해 맞춰요. 배경음은 보컬 분리를 켰을 때 남겨 둔 소리예요.

공식 문서의 처리 단계를 따라 저희가 그린 예시예요. 문장, 시간, 번역문은 지어낸 예이고, 실제 결과는 원본 음성, 언어, 고른 AI 모델과 목소리에 따라 달라져요.

비슷한 도구

비디오링고는 이미 있는 영상의 말을 다른 언어로 옮기는 데 집중해요. 아래 둘은 영상을 자르거나 새로 만드는 쪽이에요(각 README 기준).

긴 영상에서 쇼츠 감만 골라 세로로 자르기번역보다 클립 고르기와 세로 자르기가 중심. 일레븐랩스 키를 넣으면 30개 넘는 언어로 더빙도 됨mutonby/openshorts

주제 한 줄로 쇼츠 한 편 뽑기있는 영상을 옮기지 않고 주제에서 대본, 목소리, 자막을 새로 만듦harry0703/MoneyPrinterTurbo

주의할 점

Fish Audio 더빙은 기본이 '영상 속 목소리 복제'예요. 영상 앞부분 15~30초의 말소리를 본떠 모든 대사를 읽어요. 본인 동의 없는 목소리 사용은 금지예요. 공식 문서도 쓸 수 있는 목소리만 복제하라고 적어요.
유튜브 링크로 남의 영상을 받아 번역하거나 더빙해서 다시 올리는 건 원저작자의 허락이 필요해요. 혼자 공부용으로 보는 것과 공개하는 것은 달라요. 얼굴과 목소리가 나오는 사람의 초상권도 함께 생각하세요.
README가 밝힌 한계예요. 배경 소음이 크면 인식이 흔들리고, 숫자와 기호는 시간이 어긋날 수 있어요. 여러 언어가 섞인 말은 정확도를 장담하지 못하고, 말하는 사람마다 다른 목소리를 자동으로 붙이지 않아요.
화면 표시 언어는 영어, 중국어(간체, 번체), 일본어, 스페인어, 프랑스어, 러시아어이고 한국어는 없어요. 받아 오는 설정 파일은 화면 언어와 대상 언어가 중국어로 잡혀 있어서 처음에 바꿔야 해요. 가장 좋은 목소리 복제로 소개된 GPT-SoVITS는 중국어와 영어만 돼요.
README와 시작 문서는 번역 AI로 OpenLux를 추천인 코드가 붙은 링크로 안내해요. OpenRouter나 내 컴퓨터의 호환 서버 같은 다른 OpenAI 호환 서비스도 돼요.

낯선 말

ASR · 말소리를 글로 받아쓰는 음성 인식 기술이에요
강제 정렬(ForcedAligner) · 이미 받아쓴 글의 단어마다 영상 속 시작과 끝 시간을 찾아 붙이는 과정이에요
SRT · 자막 번호, 시간, 문장을 적어 두는 가장 흔한 자막 파일 형식이에요
TTS · 글을 읽어 목소리로 바꿔 주는 기술이에요
보컬 분리(Demucs) · 한 소리에서 사람 목소리와 배경음을 나눠 주는 모델이에요. 더빙할 때 배경음만 남길 때 써요
OpenAI 호환 API · 오픈AI와 같은 방식으로 요청을 받는 AI 서비스 주소예요. 여러 회사 모델을 같은 방법으로 부를 수 있어요

AI 답은 참고 자료예요. 법·세금·돈·건강처럼 삶에 큰 영향을 주는 일에서는 AI 답이 정답이 될 수 없어요. 최종 판단은 전문가나 공식 기관에서 확인하세요.