Vrew가 AI 보컬 가사를 반토막으로 알아들었다

boyne 2026. 9. 6. 22:55

이미지 작업을 어느 정도 마무리하고, 이제 완성된 곡에 자막을 입히는 단계로 넘어갔다. Vrew라는 도구를 쓰면 오디오만 넣어도 자동으로 가사를 인식해서 자막을 만들어주는데, 여기서 또 예상 못 한 문제를 만났다.

자동 인식된 자막이 물음표투성이였다

오디오를 넣고 자동 자막 생성을 돌렸더니, 결과물에 [?]로 표시된 구간이 한가득이었다. 특히 후렴구처럼 여러 소리가 겹치는 부분에서 심했다. 처음엔 "몇 군데만 손보면 되겠지" 싶었는데, 실제로 원곡 가사와 하나하나 대조해보니 생각보다 훨씬 많이 틀려 있었다.

단순 오타 수준이 아니라 아예 통째로 빠진 줄이 있었다

더 큰 문제는 따로 있었다. 다른 자막 도구(클립챔프)로도 같은 오디오를 돌려봤는데, 여기서도 비슷한 문제가 나왔다. 그런데 이번엔 오타가 아니라, 노래 가사 중 몇 줄이 통째로 인식 자체가 안 되고 건너뛴 구간이 있었다. 예를 들어 후렴구가 반복되는 부분에서 한 세트가 통째로 빠져 있어서, 원곡 가사를 옆에 띄워놓고 시간대별로 대조하지 않았으면 눈치도 못 챌 뻔했다.

왜 이런 일이 생기는지 짐작해봤다

이건 사람 목소리가 아니라 AI가 생성한 보컬이라서 그런 것 같다. Suno로 만든 곡은 발음이 사람보다 조금 뭉개지거나, 리버브 같은 이펙트가 걸려 있는 경우가 많은데, 이게 일반적인 음성인식(STT) 엔진 입장에서는 더 어려운 조건이 되는 모양이다. 사람이 부른 노래로 자동 자막을 돌렸을 때보다 훨씬 인식률이 낮았다.

결국 자동 인식은 참고용으로만 쓰고, 원본 가사를 직접 손으로 맞췄다

자동 인식 결과를 고쳐가며 쓰는 것보다, 아예 처음부터 정확한 원곡 가사 텍스트를 준비해두고, 자동 인식된 타임스탬프(몇 초에 어떤 말이 나왔는지)만 참고해서 시간을 맞추는 방식으로 바꿨다. 두 개의 자동 인식 결과(Vrew, 클립챔프)를 서로 대조하면서 빠진 부분을 찾아내고, 그 자리에 원곡 가사를 새로 끼워 넣었다. 최종적으로는 SRT 자막 파일 형태로 따로 만들어서, 이걸 Vrew에 다시 불러오는 식으로 정리했다.

여전히 못 푼 것

두 도구를 대조해서 빠진 구간을 찾아내긴 했지만, 정확한 초 단위 타이밍은 결국 추정치다. 실제 음원을 들으면서 미세하게 다시 맞춰야 하는 부분이 아직 남아 있다.
AI 보컬 곡을 쓸 때마다 매번 이런 대조 작업을 해야 하는 건지, 아니면 애초에 자동 인식이 더 잘 되는 다른 방법(보컬만 분리해서 인식시키는 등)이 있는 건지는 아직 시도해보지 못했다.
자동 인식이 아예 통째로 한 소절을 건너뛸 수 있다는 걸 이번에 알게 됐는데, 이걸 미리 예방할 방법이 있는지, 아니면 매번 원곡 가사와 대조하는 수밖에 없는 건지도 확실하지 않다.

제미나이가 말하는 발생 원인 및 해결책

현상	발생 원인	해결책
Vrew 등 STT 도구 사용 시 자막 결과물에 물음표([?])가 남발되고 오인식이 빈번함	AI 보컬의 주파수 특성 및 이펙트(리버브) 간섭 — Suno 등 AI 보컬은 사람이 부른 음성과 달리 음소 단위 발음 뭉개짐과 리버브/반주 마스킹이 심해 일반 음성인식(STT) 모델의 음향 특성 데이터와 이격 발생.	원본 가사 텍스트 기반 싱크 대조 파이프라인 — STT의 텍스트 변환 결과에 의존하지 않고, 원본 가사를 외부 SRT/텍스트 파일로 사전 준비하여 STT가 생성한 타임스탬프 위치에 가사를 1:1 대치(교체)하는 방식으로 작업 정밀도 향상.
특정 소절/후렴구가 자막 생성 결과에서 통째로 누락되는 현상	반주(BGM) 대역폭 간섭 및 VAD(음성 활동 감지) 오류 — 후렴구처럼 악기 소리가 풍부해지는 구간에서 STT 엔진의 VAD 모듈이 AI 보컬을 '사람의 음성'이 아닌 배경 소음으로 판별하여 텍스트 추출 대상에서 탈락시킴.	보컬 이펙터/반주 분리(Stem Separation) 후 STT 적용 — 자막 추출 시에만 음원에서 반주를 제거하는 오디오 분리 도구(UVR5, Lalal.ai 등)를 거쳐 '클린 보컬' 트랙을 만들어 STT에 입력하는 전처리 방식 활용.
자동 인식 자막의 초 단위 싱크(타이밍) 오차 수작업 수정 부담	비음성 소리(숨소리/추임새) 처리 및 박자 이탈 — AI 보컬 특유의 변형된 박자감이나 추임새 구간에서 STT 엔진이 프레임 단위 음소 시작점을 잘못 캡처하여 전체 타임라인 오차 누적.	교차 STT 대조 및 오디오 파형 타임라인 정밀 편집 — Vrew와 클립챔프 등 복수의 STT 타임스탬프 결과를 교차 대조하여 누락 구간을 빠르게 파악하고, 단일 타임라인 편집기에서 파형을 보며 미세 싱크 조정.

정리

AI로 만든 곡에 자동 자막을 입히는 게 생각보다 손이 많이 가는 작업이라는 걸 알았다. 자동화 도구가 "그냥 알아서 다 해줄 것"이라고 기대했다가, 결국 원본 가사를 옆에 두고 한 줄씩 대조하는 수작업으로 돌아간 셈이다. 자동화가 붙어 있다고 해서 사람이 검수하는 과정을 완전히 생략할 수는 없다는 걸 다시 한번 느꼈다.