엔비디아(NVIDIA)가 모든 동영상을 자연스러운 슬로모션 동영상으로 전환하는 기술을 발표하였다.
네오윈(Neowin)에 의하면 엔비디아의 새로운 슬로모션 기술은 미국 메사추세츠 대학의 연구진과 공동 개발하였다. CNN(Convolutional Neural Network, 나선형 신경 네트워크) 2개로 동영상 속 객체가 프레임을 가로질러서 움직이는 위치와 프레임 사이에 있을 위치를 결합하여 매끄러운 슬로모션을 구현한다.
CNN 하나가 입력 된 프레임 두 가지 사이에 있는 타임라인에서 앞뒤로 광학 흐름을 추정하며 픽셀이 다음 프레임으로 어떻게 이동할지 예측하여 플로필드(flow field, 예상한 움직임의 2D 벡터)를 생성한다. 플로필드는 중간 프레임에 융합시킨다.
그 다음에 두 번째 CNN으로 광학 흐름을 보간하고 플로필드를 정제한다. 그리고 눈에 보이는 맵을 예측하여 프레임 내 대상물 때문에 막힌 픽셀을 배제하고 움직이는 대상물 주변에서 인공물을 줄인다. 마지막으로 눈에 보이는 맵이 입력 이미지 2개에 적용 되고 중간에 광학 플로필드는 각 프레임 사이에서 부드럽게 전환해주는 워프(warp, 또는 왜곡(distort))에 사용한다.
연구진은 엔비디아 테슬라 V100 GPU와 cuDNN으로 가속시킨 PyTorch 딥러닝 프레임워크를 사용해서 초당 240프레임으로 총 11,000개 동영상에 슬로모션 프레임을 채우는 데 성공했다고 밝혔다.
닉네임
비회원
보드나라 많이 본 뉴스
메모리 가격 급락에 중국 사재기 업체들 비명?
엔비디아 앱 DLSS 4.5 DMFG, 6x 모드, 사전 세이더 캐시 컴파일 지원 업데이트
일부 지역 메모리 시장 가격 급락, 일시 조정?
보드나라 많이 본 기사
인텔 메인스트림 CPU의 왕위 계승, 코어 울트라 7 270K Plus
DDR5·HBM 메모리 폭등의 유일한 해결법 반도체 증설 현황 총정리, 삼성전자·SK하이닉스·마이크론 [메모리 가격 폭등 7부]
