녹음 5초면흉내, 1분이면학습

중급자용© AIKOREACLUB

RVC-Boss/GPT-SoVITS

녹음 5초면 흉내, 1분이면 학습

목소리 샘플 5초로 바로 글을 읽히고, 1분짜리 녹음으로 모델을 학습시켜 더 닮게 만드는 목소리 합성 도구예요. 한국어로 말하게 할 수 있고, 학습 데이터를 만드는 도구까지 한 화면에 있어요

★ 64,710목소리 합성 모델 + 웹 화면(WebUI) · MIT확인 2026-11-03

유튜브 내레이션을 매번 직접 녹음하기 힘들어서 TTS를 써 보면, 목소리가 남의 것이라 채널 느낌이 안 살아요. 그래서 "내 목소리를 학습시킬 수는 없을까" 하고 찾다 보면 거의 반드시 이 저장소에 닿아요.GPT-SoVITS는 녹음 5초로 바로 흉내 내고(제로샷), 1분을 학습시키면 더 닮게 만드는(퓨샷) 목소리 합성 도구예요. 한국어로 말하게 할 수 있고, 학습에 필요한 자르기와 받아쓰기 도구까지 한 화면에 들어 있어요. 2026-11-03 기준 별이 64,710개예요.본인 동의 없는 목소리 사용은 금지예요. 몇 초 녹음으로 비슷한 목소리가 나오는 만큼, 사칭과 딥페이크에 그대로 쓰일 수 있는 도구예요. 화면 첫 줄에도 생성된 음성을 배포하면 모든 책임은 사용자가 진다고 적혀 있어요.

5초 흉내와 1분 학습, 뭐가 다른가요

이 녹음은 내 목소리이거나, 목소리 주인에게 허락을 받았어요체크를 풀면 아래가 잠겨요. 저희가 그려 넣은 문이에요. 실제 화면에는 이런 확인이 없고, 대신 첫 줄에 생성 음성을 배포하는 사람이 모든 책임을 진다는 조건이 적혀 있어요.

동의 없는 목소리는 여기서 멈춰요. 가족, 동료, 유명인, 성우 목소리도 마찬가지예요.

결과

닮은 정도(README 설명을 길이로만 표현)

README의 기능 설명(제로샷 5초, 퓨샷 1분, 학습 탭 순서)을 따라 저희가 그린 예시예요. 닮은 정도 막대는 숫자가 아니라 README의 "닮은 정도가 올라간다"는 설명을 길이로만 표현한 것이고, 실제 결과는 녹음 품질과 버전에 따라 달라져요.

한눈에

무엇인가요

GPT-SoVITS는 목소리 합성 모델과, 그 모델을 내 목소리로 학습시키는 웹 화면(WebUI)을 한데 묶은 저장소예요. README가 꼽는 기능은 넷이에요.제로샷 TTS. 5초짜리 목소리 샘플을 넣으면 학습 없이 바로 그 목소리로 글을 읽어요.퓨샷 TTS. 학습 데이터 1분으로 모델을 미세 조정하면 닮은 정도와 자연스러움이 올라가요.다른 언어로 말하기. 학습한 언어와 다른 언어로도 합성해요. 지원 언어는 영어, 일본어, 한국어, 광둥어, 중국어예요.학습 준비 도구. 반주 분리(UVR5), 긴 녹음 자동 자르기, 받아쓰기(ASR), 받아쓴 글 교정 도구가 화면 안에 있어서 학습 데이터를 처음 만드는 사람도 따라갈 수 있어요.핵심은 내 컴퓨터에서 학습까지 한다는 점이에요. 모델 파일은 허깅페이스에서 받고, 그 뒤 학습과 합성은 내 그래픽카드에서 돌아요.

함께 쓰는 도구 · 윈도우 · 리눅스 · 맥(CPU 학습) · 도커 · 구글 코랩

이런 분께

내레이션을 매번 녹음하기 힘들어 내 목소리로 읽어 주는 모델을 갖고 싶은 유튜버, 강사
캐릭터 목소리를 정해 두고 긴 대본을 한국어로 읽히고 싶은 게임·애니메이션 제작자
VoiceStudio 같은 앱 안의 엔진이 아니라, 학습 과정까지 직접 만져 보고 싶은 분

어떻게 작동하나요

1. 모델 파일 받기. install.sh가 잘 끝나면 사전 학습 모델이 같이 받아져요. 수동으로 설치했다면 허깅페이스 lj1995/GPT-SoVITS에서 받아 GPT_SoVITS/pretrained_models 폴더에 넣어요.2. 학습 데이터 만들기(0번 탭). 녹음 파일 경로를 넣고, 작은 조각으로 자르고, 필요하면 잡음을 줄이고, 받아쓰기(ASR)를 돌린 뒤 받아쓴 글을 눈으로 교정해요. README는 이 순서 그대로 여섯 단계로 적고, 앞 단계의 결과 경로가 다음 단계에 자동으로 채워진다고 해요.3. 미세 조정(1B 탭). 다음 탭에서 SoVITS 학습과 GPT 학습을 차례로 돌려요. 결과 모델은 SoVITS_weights, GPT_weights 폴더에 쌓여요.4. 합성(1C 탭). 학습한 모델을 고르고, 참조 오디오(3~10초)와 그 녹음의 글, 언어를 넣은 뒤 읽힐 문장을 써요. 학습 없이 체험만 하려면 기본 모델을 그대로 두고 참조 오디오만 넣어요.학습 데이터가 1분뿐이라, 녹음 품질이 결과를 거의 정해요. README는 v1, v2, v2Pro는 보통 품질의 녹음으로도 쓸 만하지만 v3와 v4는 그렇지 않다고 적어요.

할 수 있는 일

5초 샘플로 바로 읽기학습 없이 참조 녹음 하나로 글을 그 목소리로 읽어요(제로샷)

1분 학습으로 더 닮게녹음 1분으로 GPT와 SoVITS 두 모델을 미세 조정해요(퓨샷)

한국어로 말하게v2부터 한국어와 광둥어를 지원하고, 학습한 언어와 다른 언어로도 읽어요

학습 데이터 준비0번 탭에서 반주 분리, 자르기, 받아쓰기, 교정까지 순서대로 해요

음성 변환2번 탭에서 이미 있는 음성을 다른 목소리로 바꿔요

속도·품질 조절합성 화면에서 말하기 속도를 바꾸고, 긴 글은 줄바꿈 단위로 나눠 합성해요

바로 쓸 수 있나요

도구 연결 필요

필요한 것윈도우 10 이상이면 통합 패키지로 바로. 그 외엔 Python 3.9~3.12, conda, FFmpeg. 학습은 NVIDIA(CUDA)나 AMD(ROCm) 그래픽카드 기준이고 맥은 CPU로 학습해요. 모델 파일을 받을 저장 공간도 필요해요

비용저장소와 모델은 무료(MIT). 구글 코랩이나 클라우드 GPU에서 돌리면 그 요금은 따로예요

시작하기

윈도우라면 통합 패키지
윈도우 10 이상이면 README의 통합 패키지(7z)를 받아 풀고 go-webui.bat 를 더블클릭해요. 설치 명령이 필요 없어요. 파일 이름이 GPT-SoVITS-v3lora-20250228 이라 최신 버전과 차이가 있을 수 있어요.
윈도우 명령으로 설치
PowerShell에서 실행해요. Device는 그래픽카드에 맞춰 CU126, CU128, CPU 중 하나, Source는 모델을 받을 곳(HF, HF-Mirror, ModelScope)이에요.
```
conda create -n GPTSoVits python=3.10
conda activate GPTSoVits
pwsh -F install.ps1 --Device <CU126|CU128|CPU> --Source <HF|HF-Mirror|ModelScope> [--DownloadUVR5]
```

리눅스

AMD 그래픽카드는 ROCM을 골라요.

conda create -n GPTSoVits python=3.10
conda activate GPTSoVits
bash install.sh --device <CU126|CU128|ROCM|CPU> --source <HF|HF-Mirror|ModelScope> [--download-uvr5]

맥

README는 맥 GPU로 학습한 모델이 품질이 크게 떨어져 당분간 CPU로 학습한다고 적어요. 느리다는 뜻이에요.

conda create -n GPTSoVits python=3.10
conda activate GPTSoVits
bash install.sh --device <MPS|CPU> --source <HF|HF-Mirror|ModelScope> [--download-uvr5]

화면 열기
브라우저에 학습 화면이 떠요. 한국어 화면은 뒤에 ko_KR 을 붙이고, 아무것도 안 붙이면 컴퓨터 언어 설정을 따라요. 합성만 하려면 1-GPT-SoVITS-TTS 탭 안의 1C-추론으로 가요.
```
python webui.py ko_KR
```

처음 쓰는 순서

설치윈도우는 통합 패키지, 그 외엔 conda와 install.sh
webui.py화면 열기. 한국어 화면은 뒤에 ko_KR
1C 탭에서 제로샷기본 모델 그대로, 내 목소리 5초만 넣어 한 줄 들어 보기
0번 탭녹음 1분을 자르고 받아쓰고 교정하기
1B 탭SoVITS, GPT 순서로 학습
다시 1C 탭학습한 모델로 긴 대본 합성

README와 화면 탭 순서를 처음 쓰는 순서로 묶은 예예요. 참조 녹음과 학습 녹음은 본인이 직접 읽은 것만 쓰세요.

0번 탭에서 1C 탭까지, 눌러 보세요

GPT-SoVITS WebUI · 브라우저 화면

README의 미세 조정 순서(경로 입력, 자르기, 잡음 제거, 받아쓰기, 교정, 학습)와 화면 탭 이름을 따라 저희가 그린 예시예요. 대본과 파일 이름은 지어낸 것이고, 실제 화면의 칸과 결과는 버전과 설정에 따라 달라져요.

비슷한 도구

GPT-SoVITS는 학습 과정까지 직접 만지는 모델 쪽이고, 위의 앱들은 그런 모델을 편하게 쓰게 감싼 쪽이에요(각 README 기준).

일레븐랩스 대신, 내 컴퓨터에서 도는 목소리 스튜디오앱 하나에 여러 엔진을 모은 쪽. 모델 관리자에 GPT-SoVITS도 엔진으로 들어 있어요debpalash/VoiceStudio

받아쓰기와 목소리 만들기를 한 앱에서받아쓰기 단축키와 에이전트 음성 출력에 무게(MIT)jamiepine/voicebox

노래에서 목소리만 분리GPT-SoVITS 0번 탭의 반주 분리가 바로 이 도구(UVR5)예요Anjok07/ultimatevocalremovergui

주의할 점

본인 동의 없는 목소리 사용 금지. 5초 샘플로 비슷한 목소리가 나오니, 남의 목소리로 전화나 메시지를 꾸며 사칭하거나 하지 않은 말을 한 것처럼 만드는 딥페이크에 그대로 쓰일 수 있어요. 가족, 동료, 유명인, 성우 목소리도 마찬가지예요. 만든 음성을 공개할 때는 AI로 만든 목소리라고 밝히는 편이 안전해요.
화면 첫 줄의 조건을 읽으세요. MIT로 공개하되 개발자는 소프트웨어에 어떤 통제력도 없고, 소프트웨어를 쓰거나 생성된 음성을 배포하는 사람이 모든 책임을 진다고 적혀 있어요. 이 조항에 동의하지 않으면 코드와 파일을 쓸 수 없다고도 해요.
문서가 중국어 위주예요. 공식 사용 안내는 중국어(yuque)이고 영어 안내는 따로 있어요. README는 한국어 번역본이 있고 화면 번역 파일(ko_KR)도 들어 있지만, 데모 영상은 비리비리에 있고 중국 내 다운로드 경로와 AutoDL 안내가 섞여 있어요.
버전이 많아 헷갈려요. v1, v2, v2Pro, v3, v4, v5가 있고 모델 파일을 따로 받아야 해요. v3와 v4는 보통 품질의 녹음에 약하고, v5는 별도 브랜치(cuda_graph_accel_v5)에서 받으라고 적혀 있어요. 처음이면 README 순서대로 하나만 고르세요.
맥은 GPU 학습 품질 문제로 CPU 학습이라 느려요. 합성 속도(RTF)는 v2 ProPlus 기준 RTX 4060 Ti에서 0.028, M4 CPU에서 0.526이라고 README가 적어요.
저장소에 api.py, api_v2.py 파일이 있지만 README에는 설명이 없어요. 다른 프로그램에서 부르려면 파일을 직접 읽어야 해요.

낯선 말

제로샷 · 학습 없이 샘플 하나만 보고 바로 흉내 내는 방식이에요
퓨샷 · 아주 적은 데이터(여기서는 1분)로 모델을 추가 학습시키는 방식이에요
미세 조정 · 이미 학습된 큰 모델을 내 데이터로 조금 더 학습시켜 맞추는 일이에요
참조 오디오 · 어떤 목소리로 읽을지 본보기가 되는 짧은 녹음이에요. 화면은 3~10초를 요구해요
ASR · 녹음을 글로 받아쓰는 기술이에요. 학습 데이터에 글이 함께 필요해서 써요
UVR5 · 노래에서 목소리와 반주를 분리하는 도구예요. 이 저장소에 함께 들어 있어요
WebUI · 브라우저에서 여는 조작 화면이에요. 명령어 대신 버튼으로 학습을 돌려요

AI 답은 참고 자료예요. 법·세금·돈·건강처럼 삶에 큰 영향을 주는 일에서는 AI 답이 정답이 될 수 없어요. 최종 판단은 전문가나 공식 기관에서 확인하세요.