더지엠뉴스 김완석 기자 | 중국 베이징 기반의 전자상거래 기업 징둥(JD.com)은 자체 개발한 실시간 영상 편집 모델 '조이AI-비디오-에디트(JoyAI-Video-Edit)'를 오픈소스로 공개했다. 사용자는 영상을 재생하는 동안 의상과 배경, 상품, 등장인물의 외형까지 실시간으로 수정할 수 있어 라이브커머스와 숏폼 제작 방식에 변화를 가져올 전망이다.

6일 중국 업계에 따르면, 징둥은 개발자와 콘텐츠 제작자를 대상으로 조이AI-비디오-에디트를 개방했다. 기존처럼 영상을 모두 제작한 뒤 후편집하는 방식이 아니라 영상을 보면서 동시에 수정하는 실시간 편집 방식을 구현한 것이 특징이다.

실제 테스트에서는 녹색 티셔츠를 분홍색으로 즉시 바꾸거나 '징둥' 로고가 들어간 빨간 야구모자를 착용시키는 작업이 실시간으로 이뤄졌다. 의상 색상과 소재, 헤어스타일, 안경, 모자 등 외형을 바꿀 수 있으며, 실사 영상을 애니메이션이나 영화풍으로 변환하거나 실제 배경과 가상 배경을 자유롭게 교체하는 기능도 지원한다.

징둥은 자체 개발한 JoyAI-Video 모델을 기반으로 720P 해상도에서 초당 30프레임 처리 속도를 구현했다고 밝혔다. 다만 원하는 결과를 얻기 위해서는 세부적인 프롬프트 작성이 중요하며, 지시가 모호하면 AI가 의도하지 않은 장식이나 스타일을 추가하는 사례도 확인됐다.

이 모델은 라이브커머스와 숏폼 마케팅, 인테리어 설계 등 전자상거래 분야를 주요 활용처로 삼고 있다. 참조 이미지를 업로드해 동일한 스타일로 갈아입히는 기능과 장면 전환, 등장인물 변환 기능도 제공한다.

징둥은 이번 기술을 휴머노이드 로봇과 산업용 로봇 학습에도 활용할 계획이다. 사람의 작업 영상을 로봇팔 작업 영상으로 변환하고 다양한 환경과 물체를 추가 생성해 로봇 AI 학습 데이터를 대량으로 확보할 수 있다는 설명이다.

조이AI-비디오-에디트는 징둥이 구축한 JoyAI 모델군 가운데 처음으로 임의 길이의 영상을 실시간 스트리밍 방식으로 편집할 수 있는 모델이다. 앞서 이미지 편집 모델인 JoyAI ImageEdit, 음성 생성 모델 JoyAI Echo, 멀티모달 모델 JoyAI VL Interaction, 음성 대화 모델 JoyAI Talker, 로봇 제어 모델 JoyAI RA 등을 순차적으로 공개한 바 있다.