비하인드 스토리: 머신러닝 연구실

비하인드 스토리: 머신러닝 연구실

최신 기사에서는 Brask의 머신러닝 책임자인 디마 비피라일렌코의 안내를 받아 Rask AI의 립싱크 기술의 흥미로운 세계를 살펴봅니다. 이 혁신적인 AI 도구가 콘텐츠 제작과 배포에 어떤 변화를 일으키고 있는지 직접 확인할 수 있는 기술 우수 센터인 Brask ML Lab의 비하인드 스토리로 여러분을 초대합니다. 유니티의 팀에는 세계적인 수준의 ML 엔지니어와 VFX 합성 아티스트들이 미래를 적응하는 데 그치지 않고 미래를 만들어가고 있습니다.

이 기술이 어떻게 크리에이티브 산업을 혁신하고 비용을 절감하며 크리에이터가 전 세계 시청자에게 도달할 수 있도록 지원하는지 알아보세요.

립싱크 기술이란 무엇인가요?

비디오 로컬라이제이션의 주요 과제 중 하나는 입술의 부자연스러운 움직임입니다. 립싱크 기술은 입술의 움직임을 다국어 오디오 트랙과 효과적으로 동기화할 수 있도록 설계되었습니다. 

최근 기사에서 배운 것처럼 립싱크 기법은 타이밍만 맞추는 것보다 훨씬 더 복잡하며 입의 움직임도 제대로 맞춰야 합니다. 말하는 모든 단어는 화자의 얼굴에 영향을 미치게 되는데, 예를 들어 "O"는 분명히 타원형의 입 모양을 만들어 "M"이 되지 않으므로 더빙 과정이 훨씬 더 복잡해집니다.

더 나은 화질의 새로운 립싱크 모델을 소개합니다!

저희 ML 팀은 기존 립싱크 모델을 개선하기로 결정했습니다. 이러한 결정을 내린 이유는 무엇이며 베타 버전과 비교하여 이번 버전에서 달라진 점은 무엇인가요?

디마 비피라일렌코
Rask AI의 머신 러닝 책임자
립싱크의 결과는 매우 뛰어났고 TV 방송과 기술 관련 인터뷰 등 언론의 상당한 관심을 받았지만, 베타 버전의 립싱크 모델을 출시했을 때 모든 사용자 세그먼트의 품질 기대치를 충족시키지 못한다는 것을 인식했습니다. 우리의 주요 목표는 이러한 격차를 해소하여 사용자가 콘텐츠의 오디오 요소뿐만 아니라 비디오 요소도 효과적으로 로컬라이즈할 수 있도록 하는 것이었습니다.

모델을 개선하기 위해 다음과 같은 상당한 노력을 기울였습니다:

  1. 정확도 향상: 음성 언어의 음성 세부 사항을 더 잘 분석하고 일치시키기 위해 AI 알고리즘을 개선하여 여러 언어의 오디오와 밀접하게 동기화된 입술 움직임을 더 정확하게 구현했습니다.
  2. 자연스러움 향상: 더욱 진보된 모션 캡처 데이터를 통합하고 머신러닝 기술을 개선하여 입술 움직임의 자연스러움을 크게 개선하여 캐릭터의 말이 더욱 유동적이고 생생하게 표현되도록 했습니다.
  3. 속도와 효율성 향상: 품질 저하 없이 동영상을 더 빠르게 처리할 수 있도록 모델을 최적화하여 대규모 로컬라이제이션이 필요한 프로젝트의 처리 시간을 단축할 수 있습니다.
  4. ‍사용자피드백 통합: 베타 버전 사용자들의 피드백을 적극적으로 수집하고 그들의 인사이트를 개발 프로세스에 반영하여 특정 문제를 해결하고 전반적인 사용자 만족도를 향상시켰습니다.

AI 모델은 입술의 움직임을 번역된 오디오와 정확히 어떻게 동기화하나요?

Dima: "당사의 AI 모델은 번역된 오디오의 정보와 프레임 속 인물의 얼굴 정보를 결합한 다음 이를 최종 출력에 병합하는 방식으로 작동합니다. 이러한 통합을 통해 입술의 움직임이 번역된 음성과 정확하게 동기화되어 매끄러운 시청 경험을 제공합니다."

프리미엄 립싱크가 고품질 콘텐츠에 이상적인 특별한 기능은 무엇인가요?

Dima: "프리미엄 립싱크는 멀티스피커 기능과 고해상도 지원 등 고유한 기능을 통해 고품질 콘텐츠를 처리하도록 특별히 설계되었습니다. 최대 2K 해상도까지 동영상을 처리할 수 있어 화질을 저하 없이 유지할 수 있습니다. 또한 멀티 스피커 기능을 사용하면 동일한 동영상 내에서 여러 화자 간에 정확한 립싱크가 가능하므로 여러 캐릭터 또는 화자가 등장하는 복잡한 프로덕션에 매우 효과적입니다. 이러한 기능 덕분에 프리미엄 립싱크는 전문가 수준의 콘텐츠를 지향하는 크리에이터에게 최고의 선택이 될 것입니다."

립싱크 멀티 스피커 기능이란 무엇인가요?

멀티 스피커 립싱크 기능은 여러 사람이 등장하는 동영상에서 입술 움직임을 음성 오디오와 정확하게 동기화하도록 설계되었습니다. 이 고급 기술은 단일 프레임에서 여러 얼굴을 식별하고 구분하여 각 개인의 입술 움직임이 말한 단어에 따라 올바르게 애니메이션되도록 합니다.

멀티스피커 립싱크 작동 방식:

  • 프레임 내 얼굴 인식: 이 기능은 처음에 비디오 프레임에 있는 모든 얼굴을 숫자에 관계없이 인식합니다. 정확한 립싱크를 위해 중요한 각 개인을 식별할 수 있습니다.
  • 오디오매칭: 동영상 재생 중에 오디오 트랙을 말하는 사람에 맞춰 오디오 트랙을 정렬하는 기술입니다. 이 정밀한 매칭 프로세스를 통해 목소리와 입술 움직임이 동기화됩니다.
  • ‍입술움직임 동기화 : 말하는 사람이 식별되면 립싱크 기능이 말하는 사람의 입술 움직임만 다시 그립니다. 프레임에서 말하지 않는 사람은 입술 움직임이 변경되지 않고 동영상 전체에서 자연스러운 상태를 유지합니다. 이 동기화는 활성 화자에게만 적용되므로 화면 밖의 음성이나 장면에 여러 명의 얼굴이 있는 경우에도 효과적입니다.
  • 입술의 정적 이미지 처리: 흥미롭게도 이 기술은 비디오 프레임에 입술의 정적 이미지가 나타나면 입술 움직임을 다시 그릴 수 있을 정도로 정교하여 다재다능한 기능을 보여줍니다.

    이 멀티 스피커 립싱크 기능은 말하는 사람의 입술만 오디오에 따라 움직이도록 하여 여러 명의 화자가 등장하는 장면이나 복잡한 비디오 설정에서 사실감을 높이고 시청자의 몰입도를 높입니다. 이 표적화된 접근 방식은 활성 화자에게 초점을 맞추고 비디오에서 그룹 상호 작용의 자연스러운 역학을 유지하는 데 도움이 됩니다.

하나의 동영상으로 다양한 혜택이 포함된 수백 개의 맞춤형 동영상을 여러 언어로 제작할 수 있습니다. 이러한 다목적성은 마케터가 다양한 글로벌 오디언스와 소통할 수 있는 방법을 혁신적으로 개선하여 프로모션 콘텐츠의 영향력과 도달 범위를 향상시킵니다.

새로운 프리미엄 립싱크에서 화질과 처리 속도 사이의 균형을 어떻게 맞출 수 있을까요?

Dima: "프리미엄 립싱크에서 고품질과 빠른 처리 속도의 균형을 맞추는 것은 어려운 일이지만, 모델 추론을 최적화하는 데 상당한 진전을 이루었습니다. 이러한 최적화를 통해 적절한 속도로 최상의 품질을 출력할 수 있게 되었습니다."

디마 비피라일렌코
Rask AI의 머신 러닝 책임자
사용자의 동영상에서 필요한 정보만 처리하는 데 집중하여 모델의 처리 시간을 크게 단축합니다. 모델이 분석하는 데 필요한 데이터를 간소화함으로써 효율성과 고품질 결과물을 유지하여 전문 콘텐츠 제작자의 요구를 모두 충족합니다.

모델을 훈련하는 동안 발견한 흥미로운 결함이나 놀라운 점이 있나요?

디마 비피라일렌코
Rask AI의 머신 러닝 책임자
네, 특히 입술뿐만 아니라 얼굴 털과 치아를 올바르게 보이게 하는 것과 관련하여 우리가 직면한 몇 가지 흥미로운 도전 과제가 있습니다. 마치 우리 모두가 언젠가는 치의학 학위를 받은 것처럼 말이죠!


또한 입 주변의 오클루전 작업은 매우 어려운 것으로 입증되었습니다. 이러한 요소는 립싱크 기술에서 사실적이고 정확하게 표현하기 위해 디테일에 세심한 주의를 기울이고 정교한 모델링을 거쳐야 합니다.

ML 팀은 동영상 자료를 처리할 때 사용자 데이터 프라이버시 및 보호를 어떻게 보장하나요?

Dima: 저희 ML 팀은 사용자 데이터 프라이버시와 보호를 매우 중요하게 생각합니다. Lipsync 모델의 경우, 고객 데이터를 학습에 사용하지 않기 때문에 신원 도용의 위험이 없습니다. 적절한 라이선스와 함께 제공되는 오픈 소스 데이터만을 사용하여 모델을 학습시킵니다. 또한 이 모델은 각 사용자에 대해 별도의 인스턴스로 작동하므로 최종 비디오가 특정 사용자에게만 전달되고 데이터가 얽히는 것을 방지할 수 있습니다.

Facebook은 법적 권리와 윤리적 투명성에 중점을 두고 콘텐츠 제작 시 책임감 있게 AI를 사용할 수 있도록 크리에이터의 역량을 강화하는 데 최선을 다하고 있습니다. 사용자의 동영상, 사진, 음성, 초상화는 명시적인 허가 없이 절대 사용되지 않도록 보장하여 사용자의 개인 데이터와 창작 자산을 보호합니다.

유니티는 디지털 시대의 콘텐츠 무결성과 진위성에 대한 헌신을 반영하여 콘텐츠 출처 및 진위성 연합(C2PA)과 콘텐츠 진위성 이니셔티브의 자랑스러운 회원입니다. 또한, 창립자이자 CEO인 마리아 치미르는 윤리적 AI 관행에 대한 리더십을 강조하는 Women in AI Ethics™ 디렉토리에 등재되었습니다.

립싱크 기술 발전의 미래 전망은 어떻게 되나요? 특히 흥미를 끄는 특정 분야가 있나요?

Dima: 저희는 립싱크 기술이 디지털 아바타를 향한 발전의 토대가 될 수 있다고 믿습니다. 누구나 동영상 제작 비용 없이 콘텐츠를 제작하고 로컬라이즈할 수 있는 미래를 상상하고 있습니다.

단기적으로는 향후 2개월 이내에 모델의 성능과 품질을 개선하기 위해 최선을 다하고 있습니다. 4K 동영상에서 원활한 작동을 보장하고 아시아 언어로 번역된 동영상을 통해 기능을 개선하는 것이 목표입니다. 이러한 발전은 기술의 접근성과 사용성을 확대하여 디지털 콘텐츠 제작에 혁신적인 애플리케이션을 적용할 수 있는 기반을 마련하는 데 매우 중요하며, 언어 장벽을 허무는 것이 그 어느 때보다 가까워졌습니다! 향상된 립싱크 기능을 사용해 보시고 피드백을 보내주세요.

자주 묻는 질문

동영상에 립싱크를 생성하는 데 드는 비용은 얼마인가요?
립싱크를 생성하는 데 시간이 얼마나 걸리나요?
이 기능은 Rask AI에서 어떻게 작동하나요?
뉴스레터 구독하기
인사이트가 담긴 업데이트만 제공되며 스팸은 없습니다.
감사합니다! 제출이 접수되었습니다!
죄송합니다! 양식을 제출하는 동안 문제가 발생했습니다.

그것도 흥미롭습니다.

YouTube 동영상을 모든 언어로 번역하는 방법
데브라 데이비스
데브라 데이비스
8
최소 읽기

YouTube 동영상을 모든 언어로 번역하는 방법

2024년 6월 18일
항목을 찾을 수 없습니다.
콘텐츠 크리에이터를 위한 최고의 동영상 번역기 앱 8선 [2024년 중]
도널드 버밀리온
도널드 버밀리온
7
최소 읽기

콘텐츠 크리에이터를 위한 최고의 동영상 번역기 앱 8선 [2024년 중]

2024년 6월 12일
항목을 찾을 수 없습니다.
비디오 현지화를 위한 최고의 AI 더빙 소프트웨어 [2024년 기준]
데브라 데이비스
데브라 데이비스
7
최소 읽기

비디오 현지화를 위한 최고의 AI 더빙 소프트웨어 [2024년 기준]

2024년 6월 11일
#더빙
미래는 여기 있습니다: 게르트 레온하르트, Rask AI로 250만 관객을 넘어섰습니다.
마리아 주코바
마리아 주코바
Brask의 카피 책임자
6
최소 읽기

미래는 여기 있습니다: 게르트 레온하르트, Rask AI로 250만 관객을 넘어섰습니다.

2024년 6월 1일
#사례 연구
웨비나 요약: YouTube 로컬라이제이션 및 수익 창출에 대한 주요 인사이트
안톤 셀리코프
안톤 셀리코프
최고 제품 책임자 Rask AI
18
최소 읽기

웨비나 요약: YouTube 로컬라이제이션 및 수익 창출에 대한 주요 인사이트

2024년 5월 30일
#뉴스
#로컬라이제이션
자막을 빠르고 쉽게 번역하는 방법
데브라 데이비스
데브라 데이비스
7
최소 읽기

자막을 빠르고 쉽게 번역하는 방법

2024년 5월 20일
#자막
빠르고 쉬운 SRT 파일 번역을 위한 최고의 온라인 도구
데브라 데이비스
데브라 데이비스
4
최소 읽기

빠르고 쉬운 SRT 파일 번역을 위한 최고의 온라인 도구

2024년 5월 19일
#자막
AI로 에듀테크에 '기술'을 더하다
도널드 버밀리온
도널드 버밀리온
10
최소 읽기

AI로 에듀테크에 '기술'을 더하다

2024년 5월 17일
#뉴스
Rask AI로 전환함으로써 Ian은 로컬라이제이션 비용을 10~12만 파운드 절감할 수 있었습니다.
마리아 주코바
마리아 주코바
Brask의 카피 책임자
7
최소 읽기

Rask AI로 전환함으로써 Ian은 로컬라이제이션 비용을 10~12만 파운드 절감할 수 있었습니다.

2024년 5월 14일
#사례 연구
상위 3가지 ElevenLabs 대안
도널드 버밀리온
도널드 버밀리온
6
최소 읽기

상위 3가지 ElevenLabs 대안

2024년 5월 13일
#텍스트 음성 변환
헤이젠 대체 서비스 베스트 8
제임스 리치
제임스 리치
7
최소 읽기

헤이젠 대체 서비스 베스트 8

2024년 5월 11일
항목을 찾을 수 없습니다.
글로벌 보건 개선: Rask AI를 통해 미국 내 참여도를 15% 높이고 전 세계 상호 작용을 개선한 Fisiolution
마리아 주코바
마리아 주코바
Brask의 카피 책임자
11
최소 읽기

글로벌 보건 개선: Rask AI를 통해 미국 내 참여도를 15% 높이고 전 세계 상호 작용을 개선한 Fisiolution

2024년 5월 2일
#사례 연구
웨비나 요약: 2024년 비즈니스를 위한 콘텐츠 로컬라이제이션
케이트 네벨슨
케이트 네벨슨
Rask AI의 제품 소유자
14
최소 읽기

웨비나 요약: 2024년 비즈니스를 위한 콘텐츠 로컬라이제이션

2024년 5월 1일
#뉴스
인공 지능을 통한 에듀테크의 혁신
제임스 리치
제임스 리치
8
최소 읽기

인공 지능을 통한 에듀테크의 혁신

2024년 4월 29일
#뉴스
2024년 상위 7대 AI 아바타 생성기
타니쉬 차우다리
타니쉬 차우다리
콘텐츠 마케터
16
최소 읽기

2024년 상위 7대 AI 아바타 생성기

2024년 4월 25일
#콘텐츠 제작
새로운 시장 개척과 수익 증대를 위한 최고의 AI 동영상 생성기
라이바 시디키
라이바 시디키
SEO 콘텐츠 전략가 및 작가
14
최소 읽기

새로운 시장 개척과 수익 증대를 위한 최고의 AI 동영상 생성기

2024년 4월 22일
#콘텐츠 제작
더 많은 수익을 창출할 수 있는 최고의 텍스트 음성 변환 도구 10가지
타니쉬 차우다리
타니쉬 차우다리
콘텐츠 마케터
13
최소 읽기

더 많은 수익을 창출할 수 있는 최고의 텍스트 음성 변환 도구 10가지

2024년 4월 18일
#텍스트 음성 변환
인하우스 더빙으로 비용 절감: 다국어 콘텐츠에 Rask AI를 사용하여 비용을 절감한 Pixellu의 사례
마리아 주코바
마리아 주코바
Brask의 카피 책임자
7
최소 읽기

인하우스 더빙으로 비용 절감: 다국어 콘텐츠에 Rask AI를 사용하여 비용을 절감한 Pixellu의 사례

2024년 4월 17일
#사례 연구
최고의 AI 유튜브 단편 생성기
라이바 시디키
라이바 시디키
SEO 콘텐츠 전략가 및 작가
14
최소 읽기

최고의 AI 유튜브 단편 생성기

2024년 4월 16일
#쇼츠
#Digest: Rask AI의 1분기 여정 및 케이크
마리아 주코바
마리아 주코바
Brask의 카피 책임자
10
최소 읽기

#Digest: Rask AI의 1분기 여정 및 케이크

2024년 4월 11일
#Digest

필독서

"동의"를 클릭하면 사이트 탐색을 개선하고 사이트 사용을 분석하며 마케팅 활동을 지원하기 위해 귀하의 기기에 쿠키를 저장하는 데 동의하는 것입니다. 자세한 내용은 개인정보 처리 방침을 참조하세요.