[week30-2] Seedance 2.0은 새로운 특이점일 수도

작년 OpenAI의 [Sora 2] 출시 이후로 과연 영상 생성 분야에 새로운 특이점이 갱신될 수 있을까 싶었지만, 중국 ByteDance의 [Seedance 2.0]이 그걸 해낸 듯하다.
때문에 앞서 비슷한 시기에 출시된 [Kling 3.0]의 영광은 안타깝게도 머지않아 Seedance 2.0의 그림자에 가려질 수밖에 없을 것으로 보인다.

---

[목차여기]

---

Seedance 2.0 vs Kling 3.0 vs Sora 2 vs VEO 3.1

Seedance 2.0 vs Kling 3.0 vs Sora 2 vs VEO 3.1
by u/WaqarKhanHD in singularity

 

레딧에 올라와있는 동일 프롬프트 결과물 비교 영상을 가져와보았다. (credit: wavespeed.ai)

영상을 보고 난 후 내가 느낀 바와 댓글들의 반응 중 서로 부합하는 것들만 몇 가지 정리해 보겠다.

모델	제조국	출시일	반응
Sora 2	미국	25년 9월 30일	클로즈업샷에서 인물들의 생김새와 텍스처가 꽤 이질적이다.
VEO 3.1		25년 10월 16일	컷이 자연스럽게 연결되지 않는다. (첫 번째 컷에서는 마주 보고 앉아있으나, 그다음 컷에서는 대각선 구도로 인물들이 가까워져 있다.)
Kling 3.0	중국	26년 2월 5일	위 두 모델보다 나으나, 인물의 제스처에 따라 카메라 무빙이 미세하게 튕긴다.
Seedance 2.0		26년 2월 8일 (중국 한정 / 공식 서비스는 설날 이후 업데이트 예정)	위 3가지 모델 대비 가장 자연스럽다.

---

Seedance 2.0 <Arcane> 영상을 통해 보는 할루시네이션 현상

Kobe Bryant in Arcane Seedance 2.0, absolutely insane!
by u/drgoldenpants in singularity

 

코비 브라이언트가 아케인 속 메인 캐릭터로 등장하는 위 영상은 전반적으로 뛰어난 퀄리티를 보여준다. 특히 아케인 특유의 2.5D 텍스처를 일관성 있게 유지하는 것은 이전 모델들에 비하면 장족의 발전이다. 

다만 개선이 필요한 할루시네이션 현상들도 몇 가지 존재하며, 그중 가장 자주 등장하는 현상 두 가지를 모아보았다.

영상 속 할루시네이션	분류
음료 뚜껑을 열지 않고 마시는 현상	인과관계 오류 ([음료를 손에 든다]와 [마신다] 사이 [뚜껑을 연다] 행위 누락)
액션을 취하는 팔이 좌우 반전되는 현상	일관성 오류 (씬 전환에 따라 객체 속성 유지 실패)

---

아크로바틱한 움직임은 어떨까 (실사)

Seedance 2.0 Generates Realistic 1v1 Basketball Against Lebron Video
by u/bladerskb in singularity

 

기존 모델들은 인간의 곡예적인 움직임에 유독 약한 모습을 보였다.

근데 해당 영상을 보면 그 부분이 상당히 개선된 것을 확인할 수 있다.

 

인물의 동작을 따라가는 카메라 무빙, 관객석 상호작용까지 너무나 자연스럽기 때문에 [경기장 상단 타이머 시간 설정 오류], [동일 선수 중복 오류] 등 아주 미세한 디테일을 발견하지 않는 이상 이 영상이 실제 촬영본인지 아니면 AI인지 이제 분간하기 어려울 정도이다.

---

이전 버전 대비 어떤 점이 향상되었나? 

Seedance 2.0 공식 기술 문서가 아직 외부 공개되지 않았기 때문에 미국에 법인을 둔 중국 기술 회사 Apiyi가 제공한 정보를 토대로 작성해 보겠다.

찾아보니 Apiyi는 중국 모델뿐만 아니라 Google의 Nano Banana Pro와 OpenAI의 Sora 2 등 다양한 글로벌 AI API를 서비스하는 곳이며, ByteDance의 모델을 기업용 API로 공급하기 때문에 내부 문건 접근이 가능한 것으로 보인다.

실질적 개선 사항	Seedance 1.5 Pro	Seedance 2.0
최고 해상도	1080p	최대 2K
장면 연출	단일 장면	스토리보드 생성

 

이 외 '물리적 사실감' 및 '움직임의 연속성' 개선 등이 포함된다. 

5단계로 정리한 Seedance 2.0 I2V 처리 프로세스

위 Image to Video 프로세스를 보면 [STEP 1]에서 '다중 참조 이미지' 및 '멀티모달 입력'이 가능한 것을 확인할 수 있다.

Seedance 2.0에는 총 4가지 모달리티 입력 시스템이 갖춰져 있다고 한다.

• 이미지: 0-5장 (최대 9장까지도 가능)
• 비디오: 최대 3개 (총길이 15초 이하)
• 오디오: 최대 3개 (MP3형식, 총길이 15초 이하)
• 텍스트: 자연어

[STEP 5]로 넘어가서 네이티브 오디오 생성 기능을 알아보겠다.

오디오 기능에서는 다음과 같은 음향 효과를 제공한다.

• 대화 생성
• 환경 음향
• 음향 동기화: 걷는 발소리 등
• 실제 음성 참조: 2개 이상 주체에 대한 실제 음성 참조 입력 지원

더 나아가 이제 Seedance도 Google의 VEO처럼 비디오 Extension이 가능하다고 한다. (최대 15초 이하)

---

Sora 2와 비교해 보면

비교 항목	Sora 2	Seedance 2.0
최고 해상도	1080p	2K
지원 화면비	16:9 / 9:16 / 1:1	16:9 / 9:16 / 1:1 / 4:3 / 3:4 / 21:9
영상 길이	5~25초	4~15초
입력 모달	텍스트 + 이미지	텍스트 + 이미지 + 영상 + 오디오
다중 참고 이미지 입력	미지원	지원
네이티브 오디오	대화 + 효과음 + 환경음 + 배경음악	대화 + 효과음 + 환경음
오디오 참조 입력	미지원	지원
캐릭터 카메오	지원	미지원
영상 생성 속도 (5초 분량 기준)	부하에 따라 다름	60초 미만

 

위 표 상으로는 총점수 3:5로 Seedance 2.0의 승리처럼 보이지만, 이쯤 되면 개인 취향에 따라 갈릴 것으로 보인다.

[week18] Character cameos (feat. 라이언)

특히 지난 18주 차에 다뤘었던 캐릭터 카메오는 아직까지 Sora 2만의 독점적인 기능이므로 쉽게 대체되기는 어려울 것이다.

---

나가면서

Seedance 2.0은 아직 정식으로 글로벌 론칭된 모델은 아니지만 벌써부터 레딧 AI 커뮤니티를 뜨겁게 달구고 있다.

작년 6월 Seedance 1.0 버전이 처음 공개되고서 Dreamina 사이트를 통해 사용했던 경험이 상당히 좋았던 것으로 기억한다.

 

당시 해당 모델을 일부 사용하여 작업했던 프로젝트는 👇아래 링크를 통해 확인해 볼 수 있다.

https://ctf-death.vercel.app/

이때만 하더라도 자연스러운 립싱크 성능을 보며 신선한 충격을 받았었는데, 그로부터 아직 1년도 채 지나지 않았음에도 벌써 이러한 발전을 이뤄냈다는 것이 참 신기하면서도 무서울 따름이다.

 

과연 올해 안에 또 다른 특이점을 갱신하는 영상 생성 모델이 등장할까?

나는 왠지 꼭 그럴 것만 같다.

 

*썸네일 출처: https://www.globaltimes.cn/page/202602/1355164.shtml