AI가 "춤 영상 플립북 생성" 이 가능하다고 해서 해보니...

 

AI에게 " 우리가 만든 캐릭터를 이용한 춤 영상을 캐릭터 플립북 형태로 만들 수 있냐고 물었다"  그랬더니
금방  "된다"는 말이 나왔는데, 결과는 두 번 연속 어설펐다

AI에게 뭔가를 부탁하면 "가능합니다"라는 답은 생각보다 쉽게 나온다. 문제는 그 다음이다. 가능하다는 말과 쓸 만한 결과물 사이에 얼마나 큰 거리가 있는지는 직접 받아 보기 전까지 모른다. 오늘 플립북 작업이 딱 그건 경우였다.

무슨 일이 있었나

인스타그램에서 손그림 플립북 춤 영상을 봤다.
인기곡에 맞춘 춤을 종이 297장에 한 장씩 그려 넘기는 41초짜리 릴스였는데, 좋아요가 36만이었다.
그 채널을 더 뒤져봤더니 이 장르가 점점 뜨고 있었다. 10일쯤 걸린 대작 중에는 조회 8,331만·좋아요 750만, 조회 6,152만·좋아요 468만짜리도 있었다.

AI는 처음에는  "밑그림은 코드로 뽑고 색칠은 손으로 하자"는 반자동 방식을 내놨다. 그런데 계산해 보니 인쇄, 색칠, 커팅, 촬영까지 하루가 넘게 걸리는 작업이 될 것 같았다. 시간이 너무 든다고 했더니 인쇄 장수를 줄이고 커팅을 없애는 대안을 내놨다. 하지만 내가 하고 싶은 건 그런 방식이 아니었다.

내가 원한 건 이거였다. 유튜브나 인스타에 있는 춤 영상을 가져와서, 춤추는 사람을 우리 캐릭터 루나(LUNA)와 노바(NOVA)로 바꾸고, 그걸 플립북 느낌으로 만드는 것이었다.

AI의 답은 역시나 "가능하다"였다. 우리 PC(그래픽카드 4GB)로는 안 되지만, 무료 웹 서비스의 '동작 옮기기'를 쓰면 된다고 했다.

시도할 때마다 다른 데서 어설펐다

1차 — 글로 춤을 설명했다.

전에 봤던 '춤추는 고양이와 그걸 찍는 고양이' 영상을 소재로 골랐다. AI가 써 준 Veo 프롬프트로 "루나가 크게 춤추고, 노바가 과하게 촬영하는" 8초 영상을 뽑았다. 결과는 춤이라고 부르기 민망한 동작이었다. "이런 어설픈 춤 말고..."라고 할 수밖에 없었다.

2차 — 진짜 춤 영상의 동작을 옮겼다.

실제 사람이 추는 춤 릴스에서 구간을 잘라 동작 참고로 쓰고, 무료 동작 옮기기 서비스(Viggle)에 루나 전신 그림과 함께 넣었다. 춤은 나아졌지만 꼬리가 하나도 움직이지 않았다. 캐릭터가 원본 영상을 완전히 대체하지도 못했다. 플립북으로 바꿀 거라 크게 문제는 없어 보였지만, 약간 어설펐다.

3차 — 플립북으로 바꿨더니 새 문제가 생겼다.

AI가 변환한 플립북은 "완전히 어설펐다".
- 루나의 원래 색이 다 사라지고 검은 선과 파란색 두 톤만 남았다. 내가 처음 보여 준 플립북 영상의 색을 그대로 따라 한 것이다. 플립북으로 만든다고 색을 죽일 이유는 하나도 없었다.
- 배경이 남아 있는 장면이 있었다.
- 루나 얼굴이 화면 밖으로 잘리는 장면도 있었다.

지적하고 나서야 고쳐진 것

문제를 어떻게 고쳤나

캐릭터 색이 사라짐	참고 영상의 파란 2톤을 버리고 루나의 원래 색을 살리는 쪽으로 변환을 바꿈
배경이 남음	배경 지우는 도구(rembg)의 모델을 여러 개 비교해, 루나만 가장 깨끗하게 남기는 것(u2net)으로 교체
얼굴이 잘림	원인은 AI가 동작 참고 영상을 좁게 잘라 넣은 것 → 잘리지 않은 전체 화면 동작 클립을 다시 준비
꼬리가 안 움직임	아직 못 고침

여전히 못 푼 것

• 동작 옮기기는 사람 뼈대를 기준으로 움직인다. 그래서 고양이 체형 캐릭터의 꼬리처럼 사람에게 없는 부위는 움직이지 않는다.
• 세 번의 문제 중 두 개(색 삭제, 얼굴 잘림)는 도구 한계가 아니라 AI가 내린 판단에서 나왔다. 그런데 AI는 결과물을 넘기기 전에 이걸 스스로 걸러 내지 못했다. 내가 두 번 "어설프다"고 말한 뒤에야 고쳐졌다.
• "가능하다"는 답이 '이 품질로 가능하다'는 뜻인지, '일단 뭔가 나오기는 한다'는 뜻인지 처음부터 구분해 달라고 하는 방법은 아직 모르겠다.

제미나이가 말하는 원인 및 해결책

 

현상	발생 원인	해결책
글(프롬프트)로 만든 춤이 어설픔	텍스트 프롬프트만으로는 춤의 정확한 박자, 리듬감, 관절의 세밀한 궤적까지 정밀하게 제어하기 어렵습니다. 특히 사람이 아닌 2D 캐릭터가 역동적으로 추는 안무는 AI 모델의 학습 데이터 자체가 부족합니다.	텍스트 대신 실제 안무 영상을 참고하는 영상 대 영상(Video-to-Video) 방식을 사용합니다. 필요하다면 포즈 제어 기능(ControlNet 등)을 활용해 뼈대 움직임을 먼저 확실히 고정합니다.
꼬리가 안 움직이고 원본 흔적이 남음	대부분의 무료 동작 추출 모델은 사람의 뼈대(Human Skeleton)를 기준으로 작동하므로, 꼬리나 날개처럼 사람에게 없는 부위는 인식하지 못합니다. 또한 무료 모델은 원본 영상의 인물을 깔끔하게 지우는 인페인팅 성능에 한계가 있습니다.	꼬리나 귀 같은 캐릭터 고유의 비인간 부위는 **2D 애니메이션 도구나 그래픽 툴로 후작업(리터칭)**을 거치는 편이 확실합니다. 원본 영상은 넣기 전에 누끼(배경 분리)를 먼저 따두거나, 프레임 합성 성능이 높은 상위 도구를 활용합니다.
색 사라짐, 배경 남음, 얼굴 잘림	AI의 스타일 참조 우선순위 판단 오작동 및 프레임 매칭 미숙 때문입니다. 참고 영상의 파란 2톤 스타일이 캐릭터 고유의 색상 데이터보다 우선 적용되었고, 원본 동작 영상의 화각이 너무 좁아 움직임 도중 피사체가 화면 밖으로 벗어났습니다.	프롬프트나 설정에서 캐릭터의 고유 색상 및 디자인 가이드를 고정하고, 배경과 캐릭터 프레임을 분리하여 적용합니다. 원본 동작 클립은 캐릭터가 좌우·상하로 크게 움직여도 화면 밖으로 나가지 않는 여유 있는 전신(Full-shot) 영상으로 준비합니다.

정리

"가능하다"는 답에서 멈췄다면 아무것도 확인하지 못했을 것이다. 직접 받아 보고 어디가 어설픈지 하나씩 짚으니, 그제야 문제가 도구의 한계인지(꼬리) AI의 판단 실수인지(색, 얼굴 잘림)가 갈라졌다. 오늘 배운 건 두 가지다. AI에게는 결과물을 넘기기 전에 스스로 확인할 기준(색 유지, 얼굴이 화면 안에 있는지, 배경 잔여)을 미리 정해 주는 게 낫다. 그리고 도구의 한계로 막힌 부분은 다른 방법(후작업으로 꼬리 더하기 등)을 따로 찾아야 한다.