펄스나인, 인공지능 '딥리얼 라이브' 기술로 AI 버추얼 아이돌 2인 동시 생방송 출연 - 인공지능 신문

딥리얼 Live는 수십만 장의 얼굴 이미지를 통해 인공지능 합성곱신경망(GAN)으로 만들어진 버추얼 휴먼의 얼굴을 실시간 합성, 가상인물의 얼굴을 초당 30프레임으로 실시간 페이스 스왑(Face Swap)...


(왼쪽부터) 이터니티 수진, Super K-pop DJ 샘 카터, 이터니티 제인(사진:펄스나인)


(왼쪽부터) 이터니티 수진, Super K-pop DJ 샘 카터, 이터니티 제인(사진:펄스나인)



펄스나인(Pulse9)의 인공지능(AI) 버추얼 아이돌 ‘이터니티(Eternity)’ 멤버 제인과 수진이 지난 22일 아리랑 국제방송 XR(확장현실) 스튜디오를 통해 ‘Super K-pop’ 보이는 라디오에 생방송 출연해 화제다. 

방송 최초로 실사형 두 명의 버추얼 휴먼이 동시에 생방송에 출연했을 뿐 아니라 크리스마스 분위기가 물씬 풍기는 아리랑 국제방송 XR 스튜디오 방송으로, 수준 높은 방송의 메타버스화를 실현시켰다는 평이다. 

여기에 적용된 기술, 펄스나인의 딥리얼 Live는 수십만 장의 얼굴 이미지를 통해 인공지능 합성곱신경망(Generative Adversarial Networks, GAN)으로 만들어진 버추얼 휴먼의 얼굴을 실시간 합성한다.

학습한 가상인물의 얼굴을 초당 30프레임으로 실시간 페이스 스왑(Face Swap)을 하여, 방송 현장에서 실시간 국제방송 규격으로 끊김 없는 신호처리를 변환해 진행된다. 상반신 클로우즈업 컷, 줌인 줌아웃 등 다양한 카메라 연출에도 흔들림 없는 품질을 보여준 것이다.


이터니티 11명 단체사진


이터니티 11명 단체사진



그간 이터니티는 아리랑 국제방송, YTN, SBS, 라이브커머스 등에 생방송 출연하며 실시간 팬들과의 소통이 어려웠던 버추얼 휴먼의 한계를 해결해 화제를 모았다. 하지만 지난 생방송 출연이 이터니티 제인 한 명의 출연이었다면, 이번 방송은 두 명이 동시에 생방송에 출연할 수 있도록 기술 실현을 시킨 것이다.  

이날 방송에서는 크리스마스 XR 스튜디오뿐 아니라 두 명의 멤버 출연으로 풍성한 볼거리를 선사했다. 팬들과의 실시간 소통과 함께, 제인이 자신의 솔로 신곡  ‘Snow Holiday PM 3:50’을 라이브로 부르기도 하고 수진이 이터니티의 ‘Paradise’와 뉴진스의 ‘Hype Boy’ 춤을 추며 댄스챌린지에 도전했다. 

이번 ‘Super K-pop’ 보이는 라디오 생방송은 아리랑 국제방송의 융합 방송 혁신과 펄스나인 Live로 실현되었다. 아리랑 국제방송이 지난 2일 발표한 융합기술 실용화 아리랑 ‘MAX(Metaverse. AI. XR)프로젝트 중  XR 스튜디오를 활용해 생방송이 가능한 언리얼 가상 스튜디오로 꾸며졌다.


펄스나인 박지은 대표


펄스나인 박지은 대표



이와 같이 아리랑 국제방송은 XR 기술을 활용한 가상 스튜디오 K팝 생방송 프로그램을 가상 공간에 중계하는 아리랑 메타 방송, 인공지능(AI)를 활용한 AI앵커부터 음성기자, AI 뉴스 프롬포터 등 융합 방송 혁신을 이어가고 있다.

특히, 버추얼 휴먼 K-pop 아이돌 ‘이터니티’는 해외 시장에서 K-pop 산업의 새로운 매체로 불리며 글로벌 인기를 모으고 있다. 지난해 3월 ‘아임리얼(I’m real)’로 데뷔한 이터니티는 지난해 8월 ‘노필터’, 올해 4월 ‘파라다이스’, 10월 ‘DTDTGMGN’를 선보였다. 특히 ‘DTDTGMGN’ 뮤직비디오는 유튜브 조회수 610만 회를 돌파하며 글로벌 인기를 증명하였다.  

최근에는 버추얼휴먼으로 유일하게 K-pop 스타로 영국 왕립 박물관 V&A 기획전시 ‘한류! 코리안웨이브(Hallyu! The Korean Wave)’ 초청 전시되고 있다. 또 지난 7일에는 영국 공영방송 BBC 다큐에 출연, K-pop 산업의 새로운 매체로 신기술을 통해 현존하는 아티스트와 공존할 수 있는 버추얼 아이돌로 언급되기도 했다. 

 최광민 기자 ckm0081@aitimes.kr


출처: https://www.aitimes.kr/news/articleView.html?idxno=26919