엔비디아(NVIDIA)가 모든 동영상을 자연스러운 슬로모션 동영상으로 전환하는 기술을 발표하였다.
네오윈(Neowin)에 의하면 엔비디아의 새로운 슬로모션 기술은 미국 메사추세츠 대학의 연구진과 공동 개발하였다. CNN(Convolutional Neural Network, 나선형 신경 네트워크) 2개로 동영상 속 객체가 프레임을 가로질러서 움직이는 위치와 프레임 사이에 있을 위치를 결합하여 매끄러운 슬로모션을 구현한다.
CNN 하나가 입력 된 프레임 두 가지 사이에 있는 타임라인에서 앞뒤로 광학 흐름을 추정하며 픽셀이 다음 프레임으로 어떻게 이동할지 예측하여 플로필드(flow field, 예상한 움직임의 2D 벡터)를 생성한다. 플로필드는 중간 프레임에 융합시킨다.
그 다음에 두 번째 CNN으로 광학 흐름을 보간하고 플로필드를 정제한다. 그리고 눈에 보이는 맵을 예측하여 프레임 내 대상물 때문에 막힌 픽셀을 배제하고 움직이는 대상물 주변에서 인공물을 줄인다. 마지막으로 눈에 보이는 맵이 입력 이미지 2개에 적용 되고 중간에 광학 플로필드는 각 프레임 사이에서 부드럽게 전환해주는 워프(warp, 또는 왜곡(distort))에 사용한다.
연구진은 엔비디아 테슬라 V100 GPU와 cuDNN으로 가속시킨 PyTorch 딥러닝 프레임워크를 사용해서 초당 240프레임으로 총 11,000개 동영상에 슬로모션 프레임을 채우는 데 성공했다고 밝혔다.
