가사만 있으면노래가 될까

중급자용© AIKOREACLUB

ace-step/ACE-Step-1.5

가사만 있으면 노래가 될까

곡 설명과 가사를 넣으면 목소리가 들어간 노래 한 곡을 만들어 주는 오픈소스 음악 생성 모델이에요. 내 컴퓨터에서 돌리고, 일부 구간만 다시 만들거나 스타일만 바꾸는 편집도 돼요

★ 14,333AI 모델 + 웹 화면(Gradio) + API · MIT확인 2026-11-03

노래 만드는 AI라고 하면 보통 웹사이트에 설명을 넣고 몇 곡을 받아 그중 하나를 고르는 장면을 떠올리죠. 2절만 마음에 안 들어도 처음부터 다시 뽑아야 하고, 만든 곡은 그 서비스의 약관을 따라야 하고요.ACE-Step 1.5는 내 컴퓨터에서 돌리는 음악 생성 모델이라, 한 곡을 뽑은 뒤 구조는 그대로 두고 스타일만 바꾸거나 마음에 안 드는 구간만 다시 만들 수 있어요. 2026-11-03 기준 별 1만 4천 개가 넘고, 4월에는 더 큰 XL 모델(4B)이 나왔어요. 공식 튜토리얼과 화면 안내는 한국어로도 나와 있어요.

기획을 맡는 LM이 하는 일 네 가지 — 소리를 만드는 DiT가 하는 일 여섯 가지

한 번 뽑고 끝나는 노래 생성의 세 가지 답답함

한 번에 뽑는 방식

2절만 어색해도 고칠 길이 없으면 처음부터 다시 뽑아야 해요. 그러면 마음에 들던 후렴까지 함께 바뀌죠.

온라인 서비스에서 만든 곡

약관 변경모델 교체서비스 종료내 컴퓨터에서 못 돌림

공식 튜토리얼은 닫힌 플랫폼에서 만든 곡이 그 약관에 묶이고, 모델이나 약관이 바뀌어도 받아들일 수밖에 없다고 짚어요.

기다리는 중

한 번 만드는 데 몇 분씩 걸리면 기다리는 사이에 아이디어가 흩어진다고 튜토리얼이 말해요. 시도하고 듣고 고치는 흐름이 끊기죠.

ACE-Step 방식

Repaint로 시작과 끝 초를 정하면 그 구간만 새로 만들고 앞뒤는 그대로 둬요. 구조를 두고 스타일만 바꾸는 Remix, 악기를 더하는 Lego도 있어요.

모델 파일(MIT)만든 곡내 LoRA원할 때 다시 학습

모델을 내려받아 내 컴퓨터에서 돌리니, 서비스 쪽 사정이 바뀌어도 쓰던 모델과 곡이 그대로 남아요. 남의 곡을 소스로 쓴 결과의 권리는 별개예요.

시도듣기고치기

README 기준 RTX 3090에서 한 곡에 10초 안쪽이에요. 개발진이 잰 값이라 컴퓨터와 설정에 따라 달라요.

ACE-Step 공식 한국어 튜토리얼이 설명하는 차이를 저희가 그린 예시예요. 왼쪽은 특정 서비스를 가리키지 않고, 파형과 구간은 지어낸 것이에요. 실제 결과는 모델, 설정, 그래픽카드에 따라 달라져요.

한눈에

무엇인가요

ACE-Step 1.5는 ACE Studio와 StepFun이 함께 만든 오픈소스 음악 생성 모델이에요. 10초부터 10분까지 길이의 곡을 만들고, 한 번에 최대 8곡까지 뽑아요.머리가 둘이에요. 언어 모델(LM)이 기획자로서 곡 설명을 넓히고 BPM, 키, 길이 같은 정보를 정해 곡의 설계도를 만들고, 확산 모델(DiT)이 그 설계도를 실제 소리로 빚어요. 원하는 게 분명하면 LM 단계를 끄고 DiT만 써도 된다고 공식 튜토리얼이 설명해요.곡 설명과 가사가 핵심 입력이에요. 곡 설명(caption)에는 장르, 악기, 분위기, 목소리 특징을 쓰고, 가사에는 [Verse], [Chorus] 같은 구조 표시를 붙여요. 가사는 50개 넘는 언어를 지원한다고 해요.만든 쪽의 주장은 주장으로 봐 주세요. README는 흔히 쓰는 평가 지표에서 대부분의 상용 모델보다 낫다고, 수준은 Suno v4.5와 v5 사이라고 적어요. 개발진이 직접 비교한 결과예요.

함께 쓰는 도구 · Gradio 웹 화면 · REST API · 파이썬 API · VST3 플러그인 · ComfyUI

이런 분께

영상, 팟캐스트, 게임에 쓸 배경 음악이나 노래를 직접 만들어 보고 싶은 분
곡 아이디어를 빠르게 들어 보고 구간별로 고쳐 가며 다듬고 싶은 음악 작업자
내가 권리를 가진 곡 몇 곡으로 나만의 스타일(LoRA)을 학습시켜 보고 싶은 분

어떻게 작동하나요

두 단계로 만들어요. 입력이 LM으로 가서 곡 정보 추론, 곡 설명 다듬기, 구조 계획을 거친 설계도가 되고, DiT가 그걸 받아 노이즈에서 소리를 조금씩 깎아 내요. LM은 0.6B, 1.7B, 4B 중에 고르고 1.7B가 기본 권장이에요.그래픽카드 메모리에 맞춰 모델을 골라요. 6GB 이하는 2B turbo만 쓰고(LM 끔), 6~16GB는 2B turbo에 LM 0.6B나 1.7B를 붙이고, XL(4B)은 12GB 이상(오프로드 포함), 20GB 이상을 권해요. 웹 화면이 내 그래픽카드에 맞는 설정을 자동으로 골라 준다고 README가 적어요.속도는 개발진이 잰 값이에요. A100에서 한 곡에 2초 안쪽, RTX 3090에서 10초 안쪽이 걸리고, 그래픽 메모리 4GB 미만으로도 돈다고 밝혀요.모델마다 쓸 수 있는 모드가 달라요. 기본 turbo와 SFT 모델은 Simple, Custom, Remix, Repaint 네 모드를 쓰고, Base 모델은 Extract, Lego, Complete까지 일곱 모드를 써요.

할 수 있는 일

설명 한 줄로 한 곡Simple 모드에 곡 설명을 쓰면 LM이 곡 설명, 가사, 곡 정보를 채운 뒤 노래를 만들어요

가사와 구조 직접 쓰기Custom 모드에서 [Verse], [Chorus] 같은 표시를 단 가사와 BPM, 키, 길이를 직접 정해요

스타일 바꾸기(Remix)원곡의 멜로디 구조는 두고 스타일만 바꿔요. 강도 0.0~1.0으로 원곡에 얼마나 가깝게 둘지 정해요

구간만 다시 만들기(Repaint)시작과 끝 초를 정해 그 구간만 새로 만들고 나머지는 그대로 둬요. 곡 늘리기에도 써요

트랙 뽑기, 더하기, 채우기Base 모델로 보컬이나 드럼만 뽑거나(Extract), 악기 트랙을 더하거나(Lego), 반주를 채워요(Complete)

내 스타일 학습노래 몇 곡으로 LoRA를 학습해요. README 기준 RTX 3090(12GB)에서 8곡, 1시간이에요

바로 쓸 수 있나요

도구 연결 필요

필요한 것엔비디아 그래픽카드 권장(애플 실리콘 맥, AMD, 인텔 그래픽, CPU도 지원). 그래픽 메모리가 클수록 큰 모델을 써요. 파이썬 3.11~3.12와 터미널 명령 몇 줄이 필요해요

비용코드는 무료(MIT)이고, 허깅페이스의 모델들도 MIT로 표시돼 있어요. 내 컴퓨터에서 돌리면 쓴 만큼 내는 요금은 없어요

시작하기

설치 없이 먼저 들어 보기
README가 안내하는 온라인 서비스(acemusic.ai)는 그래픽카드 없이 무료로 써 볼 수 있다고 해요. 허깅페이스 스페이스 데모도 있어요. 이름이 비슷한 가짜 사이트가 있다고 하니 README의 링크로 들어가세요.
uv 설치
파이썬 3.11~3.12가 필요해요. 윈도는 README의 PowerShell 명령을 써요.
```
curl -LsSf https://astral.sh/uv/install.sh | sh
```

받아서 설치

README 명령 그대로예요.

git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5
uv sync

웹 화면 켜기
처음 실행할 때 모델을 자동으로 내려받아요. 켜지면 http://localhost:7860 을 열어요. API 서버는 uv run acestep-api 로 켜고 주소는 http://localhost:8001 이에요.
```
uv run acestep
```
윈도, 맥은 묶음 파일도 있어요
필요한 부품이 미리 들어간 휴대용 묶음(윈도 7z, 맥 zip)을 README에서 받을 수 있어요. 저장소로 설치했다면 애플 실리콘 맥은 아래 스크립트로 켜요.
```
chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.sh
```

처음 해 볼 한마디

어쿠스틱 기타의 멜랑콜리한 인디 포크

공식 한국어 화면 안내에 나온 Simple 모드 곡 설명 예시예요. 곡 설명 칸에 넣고 샘플 생성을 누르면 곡 설명, 가사, 곡 정보가 채워지고, 음악 생성을 누르면 노래가 나와요.

모드마다 넣는 것과 나오는 것

넣는 것

나오는 것

ACE-Step 공식 한국어 화면 안내의 모드 설명을 따라 저희가 그린 예시예요. 곡 설명 예시는 그 안내에서 옮겼고, 채워진 곡 정보, 가사 시간, 파형은 지어낸 것이에요. 실제 결과는 모델, 설정, 무작위 값(seed)에 따라 매번 달라져요.

비슷한 도구

ACE-Step은 노래를 새로 만들고 고치는 쪽이에요. 아래 앱은 있는 노래를 갈래별로 나누는 쪽이라, 둘을 함께 쓰는 경우도 있어요(각 README 기준).

원곡에서 목소리만 빼고 반주만 남길 수 있을까새로 만들지 않고, 이미 있는 노래를 목소리와 악기로 나누는 데 집중Anjok07/ultimatevocalremovergui

주의할 점

Remix와 Repaint에 남의 노래를 소스로 넣으면 결과가 원곡의 멜로디 구조를 따라가요. 그 결과를 공개하거나 팔려면 원곡 권리자의 허락이 필요해요. README도 보호받는 스타일이나 자료를 각색할 때는 허락을 받으라고 적어요.
LoRA 학습도 마찬가지예요. 남의 곡으로 그 가수나 작곡가 스타일을 학습시키지 말고, 내가 권리를 가진 곡으로 학습하세요.
acemusic.ai 같은 온라인 서비스는 내 컴퓨터에서 돌릴 때와 달리 그 서비스의 약관을 따로 따라요. README는 이름이 비슷한 가짜 도메인 몇 곳을 꼽으며 들어가거나 결제하지 말라고 경고해요.
XL 모델은 그래픽 메모리 12GB 이상이 필요해요(오프로드와 양자화를 켰을 때). 윈도에서 AMD(ROCm)를 쓰려면 파이썬 3.12여야 해요.

낯선 말

DiT(확산 트랜스포머) · 노이즈에서 시작해 조금씩 소리를 다듬어 만드는 생성 모델이에요
LM(언어 모델) · 여기서는 곡 설명을 넓히고 BPM, 키, 구조를 계획하는 기획자 역할이에요
BPM · 1분에 몇 박인지로 나타낸 곡의 빠르기예요
구조 태그 · 가사 사이에 넣는 [Verse], [Chorus] 같은 표시예요. 지금 구간이 절인지 후렴인지 알려 줘요
LoRA · 큰 모델은 그대로 두고 작은 추가 부품만 학습해 스타일을 입히는 방법이에요
LRC · 가사 줄마다 시간을 적어 둔 가사 파일 형식이에요
오프로드 · 그래픽 메모리가 모자랄 때 모델 일부를 일반 메모리로 옮겨 두는 방법이에요

AI 답은 참고 자료예요. 법·세금·돈·건강처럼 삶에 큰 영향을 주는 일에서는 AI 답이 정답이 될 수 없어요. 최종 판단은 전문가나 공식 기관에서 확인하세요.