reference-to-video(R2V) 방식
캐릭터나 배경의 이미지를 전달하여 일관성을 보존할 수 있는 reference to video 방식을 이용하여 영상을 생성. seedance 2.0에서 뽑을 수 있는 영상의 길이는 최대 15초라는 제약이 있음
[!idea]
- 15초마다 이어 붙인 영상들을 하나로 합쳤을 때 어색함이 없는가?
- seedance에게 자유도를 많이 주었을 때 애니메이션답게 만드는 것은 무엇인가?
이러한 것들을 확인해보고 비교를 해보자..!
컷별 스토리보드 & 결과
실험1. 스토리보드를 전달하기
하나의 스토리에서 어떤 식으로 카메라 앵글을 잡을지 & 어떤 연출일 지를 직접 claude sonnet 으로 생성한 다음에 -> 각 샷의 이미지를 생성하고 -> 하나의 이미지에 15초 정도의 분량이 되게끔 스토리보드를 생성한다.
샷 1~4 — 마을 전경, 두 버스가 달린다
15초짜리 결과물을 보면 대본에 써 있던 의도대로 만들어져서, “seedance가 영상을 잘 뽑아낸다” 라는 느낌은 사실 많이 들지는 않았다.
실험2. 자유도 방식
좀 더 seedance에게 자유도를 주고자 -> 스토리보드 샷 이미지를 합쳐서 전달하지 않고, 캐릭터 시트 & 에피소드 내용만 단편적으로 주고 -> 15초 분량이 나오도록 알잘딱으로 나눠서 -> 영상을 생성하는 방식
좀 더 애니메이션스러운 표현들을 많이 해주는 것 같다.
예를 들면 이렇게 “오?” 하는 표정을 드러내는 것이라던가
이 블로그에는 15초만 잘라서 업로드했기 때문에 다른 예시들은 업로드가 어렵지만, 감정에 대한 부분이라던가, 감정에 따른 카메라 앵글 등을 좀 더 잘 표현한다는 느낌을 받았음.
다만, 1번의 방식과 다르게 스토리보드 전달을 하지 않다보니, 영상을 잇는 부분인 15초, 30초, 45초 - 즉 영상과 영상 사이의 이음새 부분이 자연스럽지 않다는 문제가 있었다.
그리고 seedance 2.0 은 물리적인 표현을 굉장히 잘 하는 것 같다. 가장 감탄한 부분은.. 이 부분인데
애니메이션의 내용이 사다리를 위로 올린 다음에 나무에 걸려있는 풍선을 구조하는 이야기인데,
나무에 걸려있는 풍선의 끈을 사다리가 먼저 끊고 -> 풍선이 바람을 타고 아래로 내려와서 -> 아이가 꼭 잡는 이 플로우를 너무 잘 만들었다…!!!
실험3. video reference 전달 방식
“영상과 영상 사이” 이음새 부분을 더 자연스럽게 하기 위해서 끝의 비디오를 5초 전달하는 방식을 택했다. 2번 방식에서 “끝 이미지 5초”를 더 전달하는 방식일 뿐인데, 이 방식으로 시도를 했을 때 처음에는 “5초 뒤의 영상”이 아니라 “5초 reference 영상을 똑같이 따라하며 시작하는” 영상이 생성이 되었다. 그래서 실제 영상을 보더라도 14초 ~ 17초 사이에 무브먼트를 한 번 더 하는 것을 볼 수 있음…! https://www.reddit.com/r/seedance2pro/comments/1ud3p0m/how_to_made_a_1minute_animated_short_film_with/ 이 방식을 나도 차용한 것이긴 한데.. 내 프롬프트 지시문을 좀 더 뜯어봐야 할 것 같다.
회고
- 영상을 잘 생성하는 것에는 개인적으로는 모델의 성능도 맞지만, 디렉팅의 영역이 더 큰 것 같다.
- 그럼에도 사람들이 “seedance가 영상을 잘 만든다” 라고 하는 것은 seedance 모델 내에서 “영상을 만들 때 이러이러한 연출 기법을 사용하면 퀄리티가 좋아진다” 이런 것을 처리하는 게 영상 생성하기 전 앞단에 있지 않을까? - 그래서 그냥 자연어로 말을 하더라도 다른 모델들보다 영상의 퀄리티가 좋다 라고 평가받는 것 같다.
- 앞으로 점점 도메인에 대한 지식이 더 중요하지 않을까? 라는 생각을 한다.
- 나보다 영상 생성에 대한 도메인 지식이 더 풍부한 사람이 만든다면 (AI를 사용하는 방법만 안다면) 더 잘하지 않을까? 라는 개인적 생각이 있음.
- 이전까지 개발자 취업을 높게 평가했던 이유는 CS지식/개발에 필요한 지식 .. 그리고 그것을 이용하여 코드를 짜는 행위 자체가 진입 장벽이 높았다. 생성형 AI 의 발전에 따라 이런 지식의 가치가 낮아졌다고 생각하고, 그러면 결국에는 산업 도메인에 대한 전문 지식이 더 중요하지 않을까… 라는 생각을 한다.
앞으로의 액션
- opus vs fable 로 “스토리만 주고” 카메라 앵글이나 애니메이션 연출 기법 등을 알잘딱으로 작성하게 시키고 이를 비교해보는 것도 좋은 인사이트가 될 것 같다
- video reference 방식에서 “비디오를 참조”하도록 (따라하지 않고..!) 지시어를 더 확장해본다
- seedance만으로 100% 좋은 퀄리티의 영상을 만드는 것은 어렵다 -> 마음에 안 드는 프레임만 캡쳐해서 FF2LF 모델을 활용하여 부분 생성하는 기능을 고려해야 할 것 같다