엔비디아(NVIDIA)가 모든 동영상을 자연스러운 슬로모션 동영상으로 전환하는 기술을 발표하였다.
네오윈(Neowin)에 의하면 엔비디아의 새로운 슬로모션 기술은 미국 메사추세츠 대학의 연구진과 공동 개발하였다. CNN(Convolutional Neural Network, 나선형 신경 네트워크) 2개로 동영상 속 객체가 프레임을 가로질러서 움직이는 위치와 프레임 사이에 있을 위치를 결합하여 매끄러운 슬로모션을 구현한다.
CNN 하나가 입력 된 프레임 두 가지 사이에 있는 타임라인에서 앞뒤로 광학 흐름을 추정하며 픽셀이 다음 프레임으로 어떻게 이동할지 예측하여 플로필드(flow field, 예상한 움직임의 2D 벡터)를 생성한다. 플로필드는 중간 프레임에 융합시킨다.
그 다음에 두 번째 CNN으로 광학 흐름을 보간하고 플로필드를 정제한다. 그리고 눈에 보이는 맵을 예측하여 프레임 내 대상물 때문에 막힌 픽셀을 배제하고 움직이는 대상물 주변에서 인공물을 줄인다. 마지막으로 눈에 보이는 맵이 입력 이미지 2개에 적용 되고 중간에 광학 플로필드는 각 프레임 사이에서 부드럽게 전환해주는 워프(warp, 또는 왜곡(distort))에 사용한다.
연구진은 엔비디아 테슬라 V100 GPU와 cuDNN으로 가속시킨 PyTorch 딥러닝 프레임워크를 사용해서 초당 240프레임으로 총 11,000개 동영상에 슬로모션 프레임을 채우는 데 성공했다고 밝혔다.
닉네임
비회원
보드나라 많이 본 뉴스
메타, 폐기 서버 DDR4 재활용으로 비용 줄이고 오버헤드 개선
SIE, 2028년부터 플레이스테이션 게임 디스크 생산 중단
MS, 브라우저와 코파일럿 기반 에이전틱 OS 프로젝트 아이온(Aion) 계획?
보드나라 많이 본 기사
크리에이터를 위한 고성능 가성비 CPU, 인텔 코어 울트라 200S Plus
최고급 성능 게이밍 CPU 라이젠 7 9800X3D, 싱글 vs 듀얼 채널 메모리 게임 성능 차이는?
